Inkling: Das Open-Weights-Modell von Thinking Machines Lab im Check

Was ist Inkling?

Inkling ist ein Open-Weights-Modell: Die Modellgewichte stehen unter Apache-2.0-Lizenz frei zum Download auf Hugging Face, du kannst es selbst hosten, feintunen und kommerziell nutzen. Trainingsdaten und Trainingscode bleiben dagegen unter Verschluss. Das Modell wurde von Grund auf mit 45 Billionen Token trainiert (Text, Bilder, Audio, Video), das Reinforcement Learning umfasste laut Hersteller über 30 Millionen Rollouts.

Parallel zum Hauptmodell hat Thinking Machines eine kleinere Variante angekündigt: Inkling-Small mit 276 Milliarden Gesamtparametern und 12 Milliarden aktiven Parametern, aktuell als Preview.

Thinking Machines Lab: Das Startup dahinter

Thinking Machines Lab wurde von Mira Murati gegründet, der ehemaligen Technikchefin (CTO) von OpenAI. Mit an Bord sind weitere prominente Ex-OpenAI-Leute, darunter John Schulman, einer der Köpfe hinter Reinforcement Learning from Human Feedback (RLHF). Inkling ist das erste große Modell des Unternehmens und zugleich der Startschuss für dessen Geschäftsmodell: die Fine-Tuning-Plattform Tinker, über die Unternehmen das Modell mit eigenen Daten anpassen.

Open Weights ist nicht Open Source

Ein häufiger Irrtum: Open Weights und Open Source sind nicht dasselbe. Bei Inkling bekommst du die Gewichte, aber weder die Trainingsdaten noch den vollständigen Trainingscode. Für die Praxis ist der Unterschied meist zweitrangig, denn die Apache-2.0-Lizenz erlaubt Self-Hosting und kommerzielle Nutzung ohne Einschränkungen. Für Reproduzierbarkeit und Forschung bleibt es aber eine relevante Grenze.

Wie funktioniert die Architektur von Inkling?

Inkling setzt auf eine Mixture-of-Experts (MoE)-Architektur: 975 Milliarden Gesamtparameter verteilen sich auf 256 Routed Experts und 2 Shared Experts. Pro Token werden 6 Experten aktiviert, sodass effektiv nur 41 Milliarden Parameter rechnen. Die Attention-Schichten wechseln im Verhältnis 5:1 zwischen Sliding-Window- und globalen Layern. Das senkt die Inferenzkosten drastisch gegenüber einem dichten Modell gleicher Größe.

Zwei Design-Entscheidungen stechen heraus:

• Relative Positional Embeddings: Statt der üblichen RoPE-Embeddings nutzt Inkling relative Positionskodierung, was die Leistung bei langen Kontexten verbessern soll. Das native Kontextfenster liegt bei 1 Million Token; über die Tinker-API sind derzeit 64K und 256K Token freigeschaltet.
• Native Multimodalität: Text, Bilder und Audio werden direkt in einem gemeinsamen Vektorraum verarbeitet, ohne separate Encoder-Modelle. Audio landet als Frequenz-Spektrogramm (dMel) im Modell, Bilder werden in 40×40-Pixel-Patches zerlegt.

Controllable Thinking Effort: Denkaufwand nach Bedarf

Das markanteste Feature ist der steuerbare Denkaufwand: Du stellst über einen Wert zwischen 0.00 und 0.99 (beziehungsweise Presets wie none, medium, max) ein, wie viel Reasoning das Modell investiert. Einfache Aufgaben laufen schnell und billig, komplexe Probleme bekommen mehr Rechenzeit. Das ist derselbe Hebel, den auch Token-Sparstrategien wie Caveman Mode nutzen: Rechenaufwand dorthin lenken, wo er Wirkung hat.

Dazu kommt ein Fokus auf Epistemik, also Wissenskalibrierung: Inkling wurde gezielt darauf trainiert, Wissenslücken zu erkennen und „Ich weiß es nicht“ zu antworten, statt zu halluzinieren. Auf StrongREJECT, einem Benchmark für Sicherheit gegen Jailbreaks, erreicht es 98,6%.

Wie schlägt sich Inkling in Benchmarks?

Thinking Machines positioniert Inkling bewusst nicht als Spitzenreiter jeder Disziplin, sondern als ausgewogenes Generalisten-Modell. Die vom Hersteller veröffentlichten Werte (bei maximalem Thinking Effort von 0.99):

Benchmark	Inkling	Vergleich
SWE-bench Verified (Coding)	77,6%	Nemotron 3 Ultra: 70,7%, GLM 5.2 laut Presseberichten: 80,0%
Terminal Bench 2.1 (Agenten)	63,8%	Nemotron 3 Ultra: 56,4%
AIME 2026 (Mathe)	97,1%	Nemotron 3 Ultra: 94,2%
Design Arena (Web-Design)	1257	Claude Sonnet 5: 1333
Humanity’s Last Exam (nur Text)	29,7%	GLM 5.2: 40,1%
StrongREJECT (Sicherheit)	98,6%	Nemotron 3 Ultra: 98,7%

*Quelle: Benchmark-Angaben von Thinking Machines Lab (Thinking Effort 0.99), Stand Juli 2026.*

Auffällig ist der Effizienz-Fokus: Inkling kommt mit deutlich weniger Output-Tokens aus als vergleichbare offene Modelle, im Schnitt rund 25.000 gegenüber 43.000 bei GLM-5.2. Für agentische Workloads, bei denen der Rechenaufwand pro Aufgabe über die Wirtschaftlichkeit entscheidet, ist das relevanter als ein Prozentpunkt mehr im Benchmark. Auf Humanity’s Last Exam liegt Inkling dafür klar hinter der chinesischen Konkurrenz. Warum das Harness drumherum oft wichtiger ist als das Modell selbst, liest du im Artikel Agent-Harness frisst Modell.

Kannst du Inkling lokal betreiben?

Ja, aber die Hardware-Hürde ist hoch. Die vollen BF16-Gewichte benötigen mindestens 1,9 Terabyte kombinierten RAM/VRAM. Realistisch wird der lokale Betrieb erst durch dynamische Quantisierung, wie sie Unsloth in seinem Inkling-Guide dokumentiert:

Variante	Speicherbedarf (RAM + VRAM)	Qualität
BF16 (voll)	ab 1,9 TB	100%
4-Bit dynamisch	ca. 600 GB	ca. 94% der Basis-Genauigkeit
2-Bit dynamisch (UD-Q2_K)	ca. 317 GB	ca. 81% der Basis-Genauigkeit
1-Bit dynamisch (UD-IQ1_S)	ca. 270 bis 285 GB (empfohlen: mind. 290 GB)	ca. 74 bis 77% Top-1-Genauigkeit

Wichtig: Die 1-Bit-Quantisierung reduziert den Speicherbedarf um 86%, macht das Modell aber nicht „86% dümmer“. Laut Unsloth bleibt die Top-1-Genauigkeit bei rund 74 bis 77%: Bei kreativen Aufgaben wählt das Modell dann gelegentlich ein anderes, aber immer noch passendes Wort. Ein Mac Studio mit Ultra-Chip oder ein Multi-GPU-Setup reicht damit für ein Modell mit knapp einer Billion Parametern. Wie sich deutlich kleinere Modelle komplett kostenlos lokal betreiben lassen, zeigt der Guide Claude Code lokal mit Ollama und Gemma 4.

Was kostet Inkling und wo ist es verfügbar?

Die Gewichte (BF16 und das für NVIDIA-Blackwell-Chips optimierte NVFP4-Format) liegen auf Hugging Face. Gehostet ist Inkling außerdem über Databricks (Unity AI Gateway), NVIDIA NIM sowie API-Anbieter wie Together AI, Fireworks und Modal.

Auf der hauseigenen Tinker-Plattform kostet die API laut offizieller Preisliste 1,87 US-Dollar pro Million Input-Token und 4,68 US-Dollar pro Million Output-Token (64K-Kontext); mit 256K-Kontext verdoppeln sich die Preise auf 3,74 beziehungsweise 9,36 US-Dollar. Diese Preise verstehen sich bereits als zeitlich begrenzter 50%-Launch-Rabatt. Die Community auf Reddit ordnet diese Preise als zu hoch ein: Chinesische Open-Weight-Modelle wie DeepSeek liegen teils deutlich darunter. Der eigentliche Hebel von Tinker ist aber nicht die Inferenz, sondern das Fine-Tuning: Unternehmen passen Inkling dort mit eigenen Daten an und behalten die Kontrolle über das Ergebnis.

Warum ist Inkling strategisch wichtig?

Die stärksten offenen Modelle der letzten Jahre kamen fast ausschließlich aus China: DeepSeek, Qwen, Kimi und GLM-5.2. Inkling ist der erste ernsthafte Versuch eines westlichen Startups, in dieser Liga mitzuspielen.

Das ist mehr als Symbolik. Viele US-Unternehmen und Behörden, etwa Anwaltskanzleien oder regulierte Branchen, dürfen aus Compliance- und Datenschutzgründen keine chinesischen Modelle einsetzen. Für sie ist Inkling das erste leistungsstarke westliche Open-Weight-Modell dieser Größenklasse, das sie intern hosten können.

Die Community-Reaktion fällt gespalten aus. Auf Reddit (r/LocalLLaMA) gilt Inkling zwar als bestes US-Open-Weight-Modell, wird aber für Größe, Ineffizienz und API-Preise kritisiert. YouTube-Reviewer wie Fahd Mirza feiern es dagegen als „neues bestes amerikanisches Open-Weights-Modell“ und loben die HTML-Programmierfähigkeiten und das mehrstufige logische Denken. Bei komplexen kreativen Coding-Aufgaben, etwa 3D-Umgebungen, leistet sich das Modell laut ersten Tests dagegen noch grobe Fehler.

FAQ: Häufig gestellte Fragen zu Inkling

Was ist Inkling?

Inkling ist das erste große KI-Modell von Thinking Machines Lab, dem Startup der Ex-OpenAI-CTO Mira Murati. Es ist ein natives multimodales Open-Weights-Modell mit 975 Milliarden Parametern (41 Milliarden aktiv) unter Apache-2.0-Lizenz, veröffentlicht am 15. Juli 2026.

Ist Inkling Open Source?

Nein, Inkling ist Open Weights: Die Modellgewichte sind unter Apache 2.0 frei verfügbar und kommerziell nutzbar, Trainingsdaten und Trainingscode bleiben aber geschlossen. Für Self-Hosting und Fine-Tuning macht das in der Praxis keinen Unterschied.

Was bedeutet Controllable Thinking Effort?

Du steuerst über einen Wert zwischen 0.00 und 0.99, wie viel Reasoning-Aufwand das Modell investiert. Einfache Aufgaben laufen mit wenig Denkaufwand schnell und günstig, komplexe Aufgaben bekommen mehr Rechenzeit. Das spart Kosten, ohne für jede Aufgabe das Modell wechseln zu müssen.

Welche Hardware brauche ich, um Inkling lokal zu betreiben?

Die vollen Gewichte benötigen mindestens 1,9 TB RAM/VRAM. Mit der dynamischen 1-Bit-Quantisierung von Unsloth reichen rund 290 GB kombinierter Speicher, zum Beispiel ein Mac Studio mit Ultra-Chip oder ein Multi-GPU-Setup. Dabei bleiben rund 74 bis 77% der Top-1-Genauigkeit erhalten.

Wie gut ist Inkling im Vergleich zu GLM-5.2 oder DeepSeek?

Auf SWE-bench Verified liegt Inkling mit 77,6% über Nemotron 3 Ultra (70,7%), aber laut Presseberichten unter GLM 5.2 (80,0%). Sein Vorteil ist die Effizienz: Es benötigt im Schnitt rund 25.000 Output-Token, wo GLM-5.2 rund 43.000 verbraucht. Bei den API-Preisen sind die chinesischen Modelle dennoch günstiger.

Für wen lohnt sich Inkling?

Vor allem für Unternehmen, die ein leistungsstarkes westliches Modell selbst hosten oder per Fine-Tuning auf Tinker an eigene Daten anpassen wollen, etwa aus Compliance-Gründen. Für Privatnutzer und kleine Teams ist die Hardware-Hürde hoch; hier könnte das angekündigte Inkling-Small mit 276 Milliarden Parametern interessanter werden.

Fazit

Inkling ist kein Benchmark-Rekordbrecher und will es auch nicht sein: Thinking Machines liefert ein ausgewogenes, nativ multimodales Basismodell als Rohmaterial für Unternehmens-Fine-Tuning und positioniert sich damit als westliche Alternative zur chinesischen Open-Weight-Dominanz. Ob das Geschäftsmodell rund um Tinker aufgeht, entscheidet sich weniger an den Benchmarks als an der Frage, wie viele Unternehmen wirklich eigene Modelle anpassen wollen. Details findest du in der offiziellen Ankündigung von Thinking Machines Lab.

Verwandte Themen: Wie das chinesische Konkurrenzmodell abschneidet, liest du in GLM-5.2: Das Open-Source-Modell, das GPT-5.5 schlägt. Warum bei Agenten das Harness oft mehr ausmacht als das Modell, erklärt Agent-Harness frisst Modell. Wie du KI-Kosten über gezielten Token-Einsatz senkst, zeigt Caveman Mode, und den Einstieg in lokale Modelle findest du im Guide Claude Code lokal mit Ollama und Gemma 4.

*Quelle: Thinking Machines Lab (Ankündigung und Model Card), Unsloth-Dokumentation, Community-Diskussionen auf r/LocalLLaMA und YouTube-Analysen, Juli 2026.*