Bonsai 27B: 27B-LLM lokal auf dem iPhone – Praxis-Guide

TL;DR: PrismML bezeichnet Bonsai 27B als erstes Modell seiner 27B-Klasse, das nativ auf einem Smartphone läuft. Die 1-Bit-Variante hat einen Footprint von rund 3,9 GB und erreicht laut PrismML im Mittel 89,5 Prozent der Full-Precision-Baseline; die Ternary-Variante kommt auf 94,6 Prozent bei rund 7,2 GB im ausgelieferten GGUF-Paket. Auf dem iPhone ist ausschließlich die 1-Bit-Version realistisch, belegt für iPhone 17 Pro und 17 Pro Max. Die veröffentlichten Qualitätswerte stammen vom Hersteller und sind noch kein Beweis für die Leistung in langen Coding-Agent-Workflows.

Was ist Bonsai 27B?

Bonsai 27B ist eine stark komprimierte Variante von Alibabas Qwen3.6-27B. PrismML quantisiert die Sprachgewichte durchgehend – einschließlich Embeddings, Attention, MLPs und LM Head – und veröffentlicht zwei Ausführungen: - 1-Bit Bonsai 27B: binäre Gewichte mit den Zuständen −1 und +1. Das native Format benötigt rund 3,9 GB und ist die einzige Variante, die in das Speicherbudget eines aktuellen High-End-iPhones passt. - Ternary Bonsai 27B: Gewichte mit den Zuständen −1, 0 und +1. Die Repräsentation entspricht theoretisch 1,71 Bit pro Gewicht und 5,9 GB. Da die aktuellen GGUF-Kernels jeden Wert in einem 2-Bit-Slot ablegen, beträgt der tatsächlich ausgelieferte Footprint rund 7,2 GB. Beide Varianten akzeptieren Text und Bilder, unterstützen strukturiertes Tool Calling und haben eine maximale Modellkontextlänge von 262.144 Token. Für Bildverarbeitung kommt ein separater 4-Bit-Vision-Projektor hinzu. Je nach Format belegt er ungefähr 0,6 bis 0,9 GB. Die 262K Token sind ein Modellmaximum, keine Garantie für jedes Gerät. Der KV-Cache wächst mit dem Kontext. Laut Modellkarte erreicht bereits die 1-Bit-GGUF-Version mit komprimiertem KV-Cache bei voller Kontextlänge ungefähr 9,4 GB Peak Memory. Auf dem iPhone ist deshalb nur ein deutlich kleinerer praktischer Kontext möglich. Die Modellgewichte sind öffentlich auf Hugging Face verfügbar und stehen unter Apache 2.0. Ein Hugging-Face-Login oder BONSAITOKEN ist seit der öffentlichen Freigabe nicht mehr erforderlich.

Warum ist Bonsai 27B relevant?

Ein 27B-Modell benötigt in FP16 ungefähr 54 GB. Eine konventionelle Q4-Ausführung von Qwen3.6-27B liegt laut PrismML-Modellkarte bei 17,6 GB. Beides überschreitet das Speicherbudget eines Smartphones deutlich. Bonsai 27B verschiebt diese Grenze: Das 1-Bit-Modell passt mit rund 3,9 GB nativer Modellgröße auf ein iPhone 17 Pro. Dadurch werden lokale Fragen, Zusammenfassungen, Übersetzungen und einfache Bildanalysen ohne Cloud-Inferenz möglich. Prompts und Antworten können auf dem Gerät bleiben, solange die verwendete App keine zusätzlichen Cloud-Funktionen einschaltet. Die Ankündigung erreichte auf Hacker News zum Faktencheck am 15. Juli 2026 rund 600 Punkte und 211 Kommentare. Das ist eine dynamische Momentaufnahme, keine feste Produkteigenschaft.

Technische Details: Varianten und Benchmarks

Die beiden Varianten unterscheiden sich in Speicherbedarf, Retention und Durchsatz. Gerade auf dem iPhone ist nicht nur die Dateigröße entscheidend: Gewichte, KV-Cache, Aktivierungen und Runtime-Puffer müssen gleichzeitig in den für die App verfügbaren Arbeitsspeicher passen. | Eigenschaft | 1-Bit Bonsai 27B | Ternary Bonsai 27B | |---|---|---| | Zustände pro Gewicht | −1, +1 | −1, 0, +1 | | Effektive Bits pro Gewicht | 1,125 | 1,71 theoretisch; 2,125 deployed | | Nativer bzw. idealer Footprint | 3,9 GB | 5,9 GB | | Aktuelles GGUF-Paket | ca. 3,9 GB | ca. 7,2 GB | | Aktuelles MLX-Paket | 5,13 GB auf Disk | 8,49 GB auf Disk | | Retention gegenüber FP16 | 89,5 % | 94,6 % | | M5 Pro, Token-Generierung | 44,2 tok/s | 26,2 tok/s | | iPhone 17 Pro Max | ca. 11 tok/s | passt nicht ins App-Budget | | Max. Modellkontextlänge | 262.144 Token | 262.144 Token | | Vision | separater 4-Bit-Projektor | separater 4-Bit-Projektor | | Lizenz | Apache 2.0 | Apache 2.0 | PrismML veröffentlicht folgende Herstellerbenchmarks im Thinking Mode: | Kategorie | Qwen3.6-27B FP16 | Ternary 27B | 1-Bit 27B | Delta Ternary | Delta 1-Bit | |---|---|---|---|---|---| | Math | 95,3 | 93,4 | 91,7 | −1,9 | −3,6 | | Coding | 88,7 | 86,0 | 81,9 | −2,7 | −6,8 | | Tool Calling | 80,0 | 74,0 | 66,0 | −6,0 | −14,0 | | Instruction Following | 78,4 | 71,8 | 65,8 | −6,6 | −12,6 | | Knowledge/STEM | 83,1 | 77,0 | 73,4 | −6,1 | −9,7 | | Vision | 72,6 | 65,2 | 59,6 | −7,4 | −13,0 | | Durchschnitt (15 Benchmarks) | 85,1 | 80,5 | 76,1 | −4,6 | −9,0 | Quelle: PrismML-Modellkarten und Whitepaper, veröffentlicht am 14. Juli 2026. Die Kategorien sind Mittelwerte aus mehreren Benchmarks. Der Coding-Wert 81,9 der 1-Bit-Version ist beispielsweise der Durchschnitt aus HumanEval+, MBPP+ und LiveCodeBench – nicht der HumanEval+-Einzelwert. Die größten Verluste liegen bei Tool Calling, Instruction Following und Vision. Genau diese Bereiche sind für längere Agentenketten relevant. PrismML weist selbst darauf hin, dass lang laufendes agentisches Coding mit mehreren Dateien und Test-Reparatur-Schleifen noch kein starker Zielbereich dieser Version ist.

Wie schnell ist Bonsai 27B in der Praxis?

Gemessener Durchsatz für Bonsai 27B nach PrismML und Community-Tests: | Hardware | Quelle | 1-Bit TG128 | Ternary TG128 | |---|---|---|---| | Apple M5 Max | PrismML-Modellkarte | 66,4 tok/s | 44,0 tok/s | | Apple M5 Pro | PrismML-Modellkarte | 44,2 tok/s | 26,2 tok/s | | Apple M4 Pro | PrismML-Modellkarte | 26,0 tok/s | 18,0 tok/s | | NVIDIA H100 | PrismML-Modellkarte | 104,8 tok/s | 98,0 tok/s | | NVIDIA DGX Spark (GB10) | Community-Benchmark | 44 tok/s | – | | iPhone 17 Pro Max | PrismML-Modellkarte | ca. 11 tok/s | – | TG128 misst die Generierung von 128 Token. Die Werte stammen nicht alle aus derselben Testumgebung und sind deshalb keine Rangliste für Hardware. Frühere Zahlen von 197 tok/s auf einer RTX 3080, 117 tok/s auf einem M4 Pro und 96 tok/s auf Strix Halo beziehen sich auf Bonsai 8B, nicht auf Bonsai 27B.

Installation auf Mac, Linux oder Windows

Das offizielle Demo-Repository unterstützt macOS, Linux und Windows. Für den Quickstart werden git, curl und ausreichend freier Speicher benötigt. Das Setup-Script installiert die übrigen Werkzeuge und lädt standardmäßig Ternary Bonsai 27B. Ternary-Version installieren: 1-Bit-Version installieren: Unter Windows übernimmt setup.ps1 dieselbe Aufgabe. Der llama.cpp-Server stellt anschließend eine OpenAI-kompatible API und eine Weboberfläche unter http://localhost:8080 bereit. Sicherheit: Das aktuelle Startscript bindet den Server standardmäßig an 127.0.0.1. Für Zugriff aus dem lokalen Netzwerk lässt sich BONSAIHOST=0.0.0.0 setzen. Dann solltest du den Zugriff zusätzlich per Firewall oder vorgeschaltetem Proxy absichern, weil das Demo-Script selbst keine API-Authentifizierung konfiguriert. Wichtige Einstellungen: | Einstellung | Wirkung | Einordnung | |---|---|---| | --reasoning-budget 2048 | Begrenzt Thinking-Token | Sinnvoll, wenn Antworten zu lange rechnen | | --image-max-tokens 1024 | Begrenzt Bildauflösung in Vision-Token | Standard auf Metal, Vulkan und CPU | | BONSAIIMAGEMAXTOKENS=0 | Entfernt das Bild-Token-Limit | Besser für OCR, aber langsamer | | BONSAISPECULATIVE=1 | Aktiviert den experimentellen DSpark-Drafter | Nur für llama.cpp; derzeit nicht für Macs empfohlen | | -c 0 | Passt Kontext automatisch an Speicher an | Standard | | --parallel N | Zahl paralleler Server-Slots | Standardwert ist 4 | PrismML meldet für DSpark auf einer H100 einen Decode-Gewinn von 1,37× bei 1-Bit und 1,34× bei Ternary. Das lässt sich nicht auf jede CUDA-Hardware übertragen: Im Community-Test auf dem DGX Spark war Speculative Decoding neutral bis langsamer. Auf Apple Silicon ist es derzeit nicht standardmäßig aktiviert. MLX auf Apple Silicon: Der MLX-Server läuft unter http://localhost:8081. Er hat keinen Cross-Request Prompt Cache und berechnet bei Folgefragen den bisherigen Kontext erneut. Für längere Multi-Turn-Unterhaltungen ist llama.cpp daher meist die bessere Wahl. Außerdem kann der macOS Low Power Mode die Inferenz deutlich drosseln.

Bonsai 27B auf dem iPhone installieren

Auf dem iPhone brauchst du weder das GitHub-Repository noch einen Hugging-Face-Token. Der einfachste Weg führt über die kostenlose App Locally AI by LM Studio. Sie wird von Element Labs angeboten, nutzt Apple MLX und benötigt laut Anbieter kein Benutzerkonto. Die App selbst setzt mindestens iOS 18.1 voraus. Für Bonsai 27B reicht diese allgemeine Kompatibilität aber nicht: PrismML nennt ausdrücklich das iPhone 17 Pro, die offizielle Demo läuft auf einem iPhone 17 Pro Max. Für ältere iPhones und das reguläre iPhone 17 liegt derzeit kein belastbarer Support-Nachweis vor. So richtest du das Modell ein: - Installiere oder aktualisiere Locally AI by LM Studio aus dem App Store. - Öffne die Modellübersicht und suche nach Bonsai 27B. - Wähle die 1-Bit-Version. Die Ternary-Version überschreitet das iOS-Speicherbudget. - Lade das Modell herunter. Der native Modell-Footprint liegt bei 3,9 GB; das MLX-Paket auf Hugging Face belegt 5,13 GB auf Disk. Die konkrete Downloadgröße der App kann davon abweichen. Plane mehrere zusätzliche Gigabyte freien Gerätespeicher ein. - Starte einen neuen Chat. Nach dem Modelldownload kann die Inferenz lokal und ohne Internetverbindung laufen. Ein iPhone mit 12 GB RAM stellt einer einzelnen App nicht den kompletten Speicher bereit. PrismML nennt ungefähr 6 GB App-Budget. Die veröffentlichte MLX-Messung der 1-Bit-Version liegt bereits bei ungefähr 5,9 GB Peak Memory für 4K Kontext. Das erklärt, warum das Modell nur auf der Pro-Hardware läuft und warum die maximalen 262K Token auf dem Smartphone nicht praktisch nutzbar sind. PrismML nennt auf dem iPhone 17 Pro Max ungefähr 11 Token pro Sekunde. Das reicht für Fragen, Übersetzungen und Zusammenfassungen, ist aber langsamer als typische Cloud-Antworten. Die offizielle Vision-Demo ist zusätzlich als „Cached & Prefilled Image Context" gekennzeichnet. Ihre Reaktionszeit entspricht daher nicht zwingend einem komplett neuen Bild-Prompt.

Bonsai 27B vs. Claude Opus 4.7 und GPT-5.5

Ein direkter Qualitätsvergleich ist derzeit nicht möglich. PrismML hat Bonsai 27B nicht mit demselben Agenten-Scaffold und denselben Coding-Suiten wie Claude Opus 4.7 oder GPT-5.5 getestet. Insbesondere darf die Retention-Rate nicht einfach auf SWE-bench-Werte des Basismodells multipliziert werden. | Kriterium | Bonsai 27B | Claude Opus 4.7 | GPT-5.5 | |---|---|---|---| | Betrieb | lokal, selbst gehostet | Cloud-API | ChatGPT und Codex; API noch angekündigt | | Modellpreis | Apache 2.0, keine Tokengebühr | 5 $ / 25 $ je 1 Mio. Token | angekündigt: 5 $ / 30 $ je 1 Mio. Token | | Offline nutzbar | ja | nein | nein | | Datenpfad bei Inferenz | bleibt lokal auf dem Gerät | Übertragung an Anthropic | Übertragung an OpenAI | | Quantisierte Agentenbenchmarks | keine direkt vergleichbaren SWE-/Terminal-Werte | Cloud-Herstellerwerte vorhanden | Cloud-Herstellerwerte vorhanden | OpenAI berichtet auf SWE-Bench Pro 58,6 Prozent für GPT-5.5 und 64,3 Prozent für Claude Opus 4.7. Auf Terminal-Bench 2.0 nennt OpenAI 82,7 bzw. 69,4 Prozent. Qwen veröffentlicht für das unkomprimierte Basismodell Qwen3.6-27B 77,2 Prozent auf SWE-bench Verified und 59,3 Prozent auf Terminal-Bench 2.0. Das sind andere Testaufbauten und teilweise andere Benchmarks. Für die quantisierten Bonsai-Versionen existiert daraus keine belastbare Rangfolge. Der Vorteil von Bonsai liegt deshalb nicht in einem bewiesenen Sieg über Frontier-Cloud-Modelle, sondern in lokaler Ausführung, fehlenden Tokengebühren und der Kontrolle über den Datenpfad. Für lange autonome Coding-Aufgaben liefern die veröffentlichten Daten derzeit mehr Evidenz für die Cloud-Modelle.

Einschränkungen und offene Fragen

- Herstellerbenchmarks: Die Retention- und Durchsatzwerte stammen überwiegend von PrismML. Unabhängige Reproduktionen der vollständigen 15-Benchmark-Suite fehlen bislang. - Agentisches Coding: PrismML nennt lange Multi-File- und Run-Test-Repair-Workflows selbst als noch nicht starken Zielbereich dieser Version. - iPhone-Hardware: Belastbar belegt sind derzeit iPhone 17 Pro und Pro Max. Die volle Kontextlänge passt nicht in das mobile Speicherbudget. - Vision und Tool Calling: Die 1-Bit-Version verliert gegenüber FP16 besonders deutlich bei Tool Calling, Instruction Following und Vision. - Spezielle Runtime: Die niedrigbitigen Formate benötigen PrismMLs angepasste llama.cpp-, MLX- oder MLX-Swift-Kernels. Ein generischer „Use with Ollama/LM Studio"-Hinweis auf Hugging Face beweist noch keinen vollständig getesteten Betrieb mit den Standardversionen dieser Apps. - LAN-Freigabe benötigt Absicherung: Standardmäßig bleibt der Server auf 127.0.0.1. Wer ihn über BONSAIHOST=0.0.0.0 im Netzwerk freigibt, muss Zugriffsschutz und Firewall selbst konfigurieren. - Datenschutz ist nicht automatisch DSGVO-Konformität: Lokale Inferenz reduziert Datenübertragungen, ersetzt aber keine Prüfung des gesamten Workflows, der Protokollierung, der Rechtsgrundlage und eingesetzter Zusatzdienste. - Prompt Injection bleibt relevant: Lokale Ausführung schützt nicht davor, dass ein Agent schädliche Anweisungen aus Webseiten, Dokumenten oder Tool-Ausgaben übernimmt.

Für wen lohnt sich Bonsai 27B?

| Zielgruppe | Empfehlung | |---|---| | Entwickler mit sensiblen lokalen Daten | Ternary auf dem Mac oder 1-Bit bei knapperem Speicher testen | | Nutzer mit iPhone 17 Pro/Pro Max | 1-Bit für lokale Fragen, Zusammenfassungen und einfache Vision-Aufgaben | | Entwickler langer Coding-Agent-Workflows | Cloud-Modelle bleiben anhand der veröffentlichten Evidenz die sicherere Wahl | | Local-LLM-Enthusiasten | Interessanter Sprung bei Modellgröße pro Gigabyte, aber Herstellerwerte selbst reproduzieren | | Unternehmen mit Compliance-Anforderungen | Lokale Inferenz kann helfen, ersetzt aber keine Datenschutz- und Sicherheitsprüfung | | Nutzer von Standard-Ollama oder LM Studio | Vor produktivem Einsatz die Unterstützung der PrismML-Quantisierung und Custom-Kernels konkret testen |

FAQ: Häufig gestellte Fragen zu Bonsai 27B

Läuft Bonsai 27B unter Windows mit einer NVIDIA-GPU? Das Demo-Repository enthält einen PowerShell-Installer und unterstützt Windows über CUDA, Vulkan oder CPU. Ein früher genannter Wert von 197 tok/s auf einer RTX 3080 gehört allerdings zu Bonsai 8B, nicht zu 27B. Für Bonsai 27B liegt im Repository derzeit kein entsprechender RTX-3080-Benchmark vor. Neben den Modellgewichten müssen außerdem Runtime-Puffer und KV-Cache in den Speicher passen. Kann ich Claude Code direkt mit dem lokalen Bonsai-Server verbinden? Nicht direkt über den dokumentierten Server: Bonsai stellt dort eine OpenAI-kompatible API bereit, während Claude Code das Anthropic-Protokoll erwartet. Dafür wäre eine kompatible Übersetzungs- oder Proxy-Schicht nötig. Qwens Cloud-API bietet zwar einen Anthropic-kompatiblen Endpunkt für das Basismodell, das ist aber nicht dasselbe wie der lokale Bonsai-Server. Funktioniert Bonsai 27B mit Ollama oder LM Studio? Die Gewichte sind öffentlich und Hugging Face zeigt generische Integrationslinks an. Bonsai verwendet jedoch spezielle Low-Bit-Formate und angepasste Kernels. Der offiziell dokumentierte und getestete Weg führt derzeit über PrismMLs Demo-Repository und Runtime-Forks. Vor dem produktiven Einsatz in Stock-Ollama oder Stock-LM-Studio solltest du prüfen, ob genau das jeweilige Bonsai-Format unterstützt wird. Ist die 1-Bit-Variante für Coding geeignet? Für einzelne Funktionen und überschaubare Aufgaben ist sie plausibel nutzbar. PrismML misst 81,9 Punkte als Durchschnitt der Coding-Kategorie und 89,6 auf HumanEval+ allein. Diese Herstellerbenchmarks belegen aber keine Zuverlässigkeit in langen Agentenläufen. Beim Tool Calling fällt die 1-Bit-Version von 80,0 auf 66,0 Punkte. Kann ich auf dem iPhone wirklich 262K Token Kontext nutzen? Nein, nicht praktisch. 262.144 Token sind das Modellmaximum. Der dafür notwendige KV-Cache überschreitet zusammen mit Gewichten und Runtime-Puffern das Speicherbudget des iPhones deutlich. Locally AI muss mit einer wesentlich kleineren Kontextlänge arbeiten.

Fazit

Bonsai 27B zeigt, wie weit sich ein großes Modell mit spezialisierten Low-Bit-Formaten komprimieren lässt. Dass ein 27B-Modell auf dem iPhone 17 Pro bzw. Pro Max interaktiv läuft, ist technisch bemerkenswert. Die 1-Bit-Version ist dort aber vor allem ein lokaler Assistent für überschaubare Aufgaben – kein Ersatz für schnelle Cloud-Coding-Agenten. Auf einem Mac mit ausreichend Unified Memory ist die Ternary-Version der interessantere Kompromiss: höhere Qualität, lokale Datenverarbeitung und keine Tokengebühren. Trotzdem fehlt bislang ein unabhängiger Nachweis, dass sie lange Coding- und Tool-Workflows ähnlich zuverlässig bewältigt wie aktuelle Frontier-Modelle. Wer Bonsai 27B einsetzt, sollte deshalb nicht mit geschätzten Cloud-Vergleichen argumentieren, sondern das eigene Szenario testen: Antwortqualität, Kontextgröße, Tool Calling, Geschwindigkeit und Speicherverbrauch auf der tatsächlich verwendeten Hardware. Verifizierte Quellen: PrismML – Ankündigung Bonsai 27B (prismml.com/news/bonsai-27b); PrismML-Dokumentation (docs.prismml.com/models/bonsai-27b); Hugging Face – Bonsai 27B GGUF 1-Bit, MLX 1-Bit, Ternary GGUF (huggingface.co/prism-ml); PrismML-Whitepaper und Demo-Repository (github.com/PrismML-Eng/Bonsai-demo); Qwen3.6-27B-Modellkarte (huggingface.co/Qwen/Qwen3.6-27B); Locally AI by LM Studio (App Store); Hacker-News-Diskussion (news.ycombinator.com/item?id=48910545); OpenAI GPT-5.5 (openai.com); Anthropic Claude Opus 4.7 (anthropic.com).