Microsoft TRELLIS.2 im Check: 3D-Assets in 3 Sekunden – aber nur auf einer H100

Was ist Microsoft TRELLIS.2?

TRELLIS.2 ist ein offenes Image-to-3D-System von Microsoft Research, Tsinghua University, USTC und Microsoft AI. Das Modell rekonstruiert aus einem einzelnen Referenzbild ein dreidimensionales Asset und erzeugt dabei nicht nur Form und Basisfarbe. Es modelliert auch Roughness, Metallic und Alpha beziehungsweise Opacity für physikalisch basiertes Rendering. Zusätzlich kann die Materialstufe auf eine vorgegebene Form angewendet werden.

Der entscheidende Unterschied zu vielen anderen Verfahren liegt in der internen Darstellung. TRELLIS.2 arbeitet mit O-Voxel, einer dünnbesetzten und feldfreien Voxelstruktur für Geometrie und Material. Dadurch muss das System offene Oberflächen, innere Strukturen oder nicht-mannigfaltige Geometrie nicht vorab in eine geschlossene Iso-Surface zwingen.

Das Paper erschien erstmals am 16. Dezember 2025. Das Repository hatte bei meinem Live-Abruf am 28. Juli 2026 gegen 00:42 Uhr MESZ 9.051 Sterne, 1.111 Forks und 121 offene Issues. GitHubs allgemeines Feld `open_issues_count` lag bei 143, zählt aber zusätzlich 22 offene Pull Requests. Diese Werte zeigen Aufmerksamkeit und Aktivität, sind aber kein Qualitätsbenchmark.

Wie funktioniert O-Voxel?

O-Voxel steht für Omni-Voxel. Jeder aktive Voxel kann Informationen zur Geometrie, zum Material und zu seiner räumlichen Position tragen. Anders als ein Signed Distance Field beschreibt die Struktur keine kontinuierliche Distanzfunktion, aus der später eine Iso-Surface extrahiert werden muss. Das TRELLIS.2-Paper bezeichnet den Ansatz deshalb als field-free.

Für die Geometrie verwendet O-Voxel ein Flexible Dual Grid. An geschnittenen Voxel-Kanten liegen Schnittpunkte und Normalen vor. Daraus bestimmt das System über eine quadratische Fehlerfunktion die Position der Dual-Vertices. Das soll scharfe Kanten und Normalensprünge besser bewahren als Verfahren, die komplexe Oberflächen zunächst in ein starres Feld pressen.

Der praktische Vorteil liegt in der Bandbreite darstellbarer Topologien:

Das ist eine starke Repräsentation, aber noch kein Beleg für fehlerfreie Rekonstruktionen. O-Voxel erweitert, welche Oberflächen das Modell ausdrücken kann. Ob die aus einem einzigen Bild geschätzte Rückseite, Symmetrie oder Wandstärke korrekt ist, bleibt eine andere Frage.

Die Generierung in drei Stufen

Die im Paper beschriebene Generierung besteht aus drei generativen Modellen:

1. Das Sparse-Structure-Modell erzeugt die Belegung des dünnbesetzten Voxelgitters.
2. Das Shape-Modell generiert Geometrie-Latents in den aktiven Voxeln.
3. Das Materialmodell erzeugt dazu ausgerichtete Material-Latents.

Davor extrahiert DINOv3-L die Bildmerkmale. Danach decodieren zwei getrennte SC-VAEs die Shape- und Material-Latents in O-Voxel. Mesh-Konvertierung und optionaler GLB-Export sind weitere Verarbeitungsschritte, aber keine zusätzlichen generativen Modelle.

Was bedeuten 16-fache Kompression und 9.600 Latent-Tokens?

Hochauflösende Voxelgitter werden schnell unbeherrschbar, wenn jede Position als eigener Token in einen Transformer eingeht. TRELLIS.2 setzt deshalb zwei Sparse Compression VAEs ein: einen für Geometrie und einen für Material. Der SC-VAE reduziert laut Paper jede räumliche Dimension um den Faktor 16.

Ein vollständig texturiertes Asset auf einem 1024³-Gitter wird dadurch auf ungefähr 9.600 Latent-Tokens komprimiert. Erst diese Verdichtung macht es praktikabel, die Repräsentation mit normalen DiT- und Flow-Matching-Blöcken zu verarbeiten.

Wichtig ist die Formulierung: Gemeint ist ein 16-faches räumliches Downsampling je Dimension. Daraus folgt nicht automatisch eine 16-mal kleinere GLB-Datei, ein 16-mal geringerer VRAM-Bedarf oder eine 16-mal schnellere End-to-End-Pipeline. Tokenzahl, dünnbesetzte Struktur, Kanalbreite, Zwischentensoren und Exportformat beeinflussen den tatsächlichen Ressourcenbedarf zusätzlich.

Wie schnell ist TRELLIS.2 wirklich?

Microsoft nennt auf der Projektseite folgende Laufzeiten für Shape und Material:

Das sind Herstellerwerte auf einer Rechenzentrums-GPU, keine Aussage über eine RTX 4090, RTX 3090 oder kleinere Karten. Die Zeiten decken Shape- und Materialgenerierung ab. Sie sind kein dokumentierter End-to-End-Benchmark inklusive Modell-Download, Start der Umgebung, Hintergrundentfernung, GLB-Export, Remeshing und manueller Qualitätskontrolle.

Ein einzelner Reddit-Post vom 24. April 2026 behauptet für einen inoffiziellen „8GB 1-click installer“ auf einer RTX 3060 einen Peak von 7,8 GB VRAM und 13 Minuten 15 Sekunden. Der Autor nennt den Lauf einmal „text-to-3D“ und die Auflösung durchgehend 1024², während der offizielle TRELLIS.2-Pfad Image-to-3D und kubische Voxelauflösungen verwendet. Da Build- oder Commit-ID, Logs und ein reproduzierbares Protokoll fehlen, ist das nur ein anekdotisches Community-Signal und kein verifizierter Benchmark oder direkter Vergleich zum offiziellen 1024³-H100-Lauf.

Der Post belegt damit weder eine bestimmte VRAM-Reduktion noch eine allgemeine Consumer-GPU-Tauglichkeit. Inoffizielle Installer, Offloading und nicht dokumentierte Änderungen können Laufzeit, Speicherbedarf und Ergebnisqualität stark beeinflussen.

Welche Hardware und Installation braucht TRELLIS.2?

Der offizielle Installationspfad richtet sich an Linux-Systeme mit NVIDIA-GPU. Das Repository nennt Python ab Version 3.8, empfiehlt das CUDA Toolkit 12.4 und verlangt offiziell mindestens 24 GB VRAM. Microsoft hat die Umgebung auf A100 und H100 verifiziert.

git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2
. ./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm

Der Befehl stammt aus dem Repository; ich habe ihn hier nicht auf einer passenden GPU reproduziert. Das Setup kompiliert mehrere native CUDA-Erweiterungen und installiert unter anderem Flash Attention, Rasterizer, Mesh- und O-Voxel-Komponenten. Das ist deutlich fehleranfälliger als eine reine Python-Installation.

Wenn du einen reproduzierbaren Produktionsdienst planst, solltest du Treiber, CUDA Toolkit, PyTorch-Build und alle kompilierten Erweiterungen gemeinsam versionieren. Andernfalls kann schon ein Wechsel des CUDA- oder PyTorch-Stacks die Installation brechen.

Wie gut sind Geometrie und PBR-Materialien?

Die wichtigste technische Stärke ist die gemeinsame native Darstellung. TRELLIS.2 erzeugt nicht erst ein Mesh und projiziert anschließend unabhängig davon mehrere zweidimensionale Texturen auf UV-Flächen. Das Materialmodell arbeitet auf Geometrie-Latents und soll die räumliche Ausrichtung von Form und Oberfläche erhalten.

O-Voxel unterstützt laut Paper diese PBR-Eigenschaften:

Damit kann ein Asset in einer PBR-Engine plausibler auf neue Beleuchtung reagieren als ein Modell mit fest eingebrannter Farbdarstellung. Native PBR-Attribute bedeuten aber nicht automatisch korrekte Materialwerte. Aus einem einzelnen RGB-Bild muss das Modell weiterhin schätzen, ob ein heller Bereich etwa durch Grundfarbe, Spiegelung oder Beleuchtung entstanden ist.

Beim Export gibt es zudem einen konkreten Stolperstein: Laut Repository wird das GLB standardmäßig im OPAQUE-Modus angelegt. Der Alpha-Kanal ist zwar in der Textur enthalten, Transparenz muss in Blender oder einer anderen 3D-Anwendung aber manuell aktiviert und mit dem Material verbunden werden.

Wo liegen die Grenzen bei Meshes, Symmetrie und 3D-Druck?

TRELLIS.2 kann komplexere Topologien repräsentieren, doch die Decoder-Ausgabe ist nicht automatisch produktionsfertig. Das Paper und die offizielle Modellkarte nennen mehrere konkrete Grenzen:

• Details unterhalb der jeweiligen Voxelgröße können aliasen (Paper).
• Sehr nahe parallele Flächen können in einem Voxel verschmelzen; Geometrie und Material werden dann gemittelt (Paper).
• Decoder-Ausgaben können kleine Löcher enthalten (Paper).
• Der Sparse Decoder stellt eine perfekt geschlossene, mannigfaltige Oberfläche nicht immer sicher; die Modellkarte warnt ausdrücklich vor Anwendungen, die streng wasserdichte Geometrie benötigen.
• Das Basismodell wurde nicht auf menschliche Präferenzen nachtrainiert (Modellkarte).
• O-Voxel enthält keine explizite semantische Unterteilung in Bauteile (Paper).

Gerade die Offenheit für nicht-mannigfaltige und offene Geometrie ist doppeldeutig. Für Kleidung, Pflanzen oder visuelle Assets ist sie eine Stärke. Für CAD-nahe Konstruktionen oder 3D-Druck kann dieselbe Ausgabe zusätzliche Reparatur erfordern.

Vor einem Druck solltest du mindestens geschlossene Geometrie, Wandstärken, Selbstüberschneidungen, Normalen, Maßstab, Symmetrie, Überhänge und Materialtrennung prüfen. Hole Filling kann sichtbare Lücken schließen. Es macht aus einer plausiblen Rekonstruktion aber keine funktional geprüfte Konstruktion.

Visuell symmetrisch ist nicht mathematisch symmetrisch

Das SymTRELLIS-Paper vom 2. Juni 2026 untersucht einen spezifischen blinden Fleck: streng symmetrische Objekte. Ein einzelnes Bild kann visuell überzeugend rekonstruiert werden, während Rotationsachse, Rad, Kreisel oder Rotor geometrisch nicht exakt symmetrisch sind. SymTRELLIS erzwingt diese Eigenschaft während der Inferenz im latenten Raum.

Das widerlegt TRELLIS.2 nicht allgemein. Im Gegenteil: SymTRELLIS verwendet die voxelbasierte Grundlage und ergänzt eine gezielte Randbedingung. Der Befund zeigt aber, warum visuelle Plausibilität nicht mit technischer oder physikalischer Korrektheit gleichgesetzt werden darf.

Ist TRELLIS.2 besser als Hunyuan3D oder Step1X-3D?

Eine allgemeine Rangliste wäre unseriös. Die Veröffentlichungen verwenden unterschiedliche Trainingsdaten, Modellstände, Voxelauflösungen, Qualitätsmetriken und Nachbearbeitung. Außerdem vergleichen Step1X-3D und Direct3D-S2 in ihren Experimenten häufig mit dem ursprünglichen TRELLIS und nicht mit TRELLIS.2.

TRELLIS.2 ist vor allem dann interessant, wenn offene Topologien und räumlich ausgerichtete PBR-Materialien im Mittelpunkt stehen. Hunyuan3D kann sinnvoller sein, wenn du ein breiteres bestehendes Ökosystem oder andere Eingabemodi brauchst. Step1X-3D und Direct3D-S2 sind eher technische Vergleichspunkte für kontrollierbare Texturierung, Nachbearbeitung oder effiziente Sparse-Modelle als direkte Sieger einer universellen Bestenliste.

Darfst du TRELLIS.2 kommerziell nutzen?

Die kurze Antwort lautet: Microsofts Kernkomponenten sind offen, die kommerzielle Nutzbarkeit der vollständigen Pipeline ist trotzdem nicht pauschal geklärt.

Der Microsoft-Code steht laut Repository-Lizenz unter MIT. Auch die Modellkarte bezeichnet TRELLIS.2-4B als MIT-lizenziert. Auf der Projektseite steht zugleich ein Forschungs-Disclaimer, nach dem die Materialien für akademische und Forschungszwecke bereitgestellt werden und nicht zur kommerziellen Verwertung gedacht seien. Dieser kommunikative Widerspruch sollte nicht ohne juristische Prüfung als zusätzliche Lizenzklausel ausgelegt werden.

Entscheidend ist ohnehin nicht nur das Hauptrepository:

In GitHub Issue 22 erklärt ein Microsoft-Collaborator, `nvdiffrast` und `nvdiffrec` seien für reine 3D-Geometrie verzichtbar und würden der Visualisierung dienen. Für den vollständigen offiziellen Exportpfad ist die Lage konkreter: Der aktuelle `to_glb()`-Code nutzt `nvdiffrast` direkt zum UV-Rasterisieren und Backen der PBR-Texturen. `nvdiffrec` wird im README für PBR-Rendering und Visualisierung genannt. Ein offizieller texturierter GLB-Export ohne `nvdiffrast` ist im geprüften Hauptbranch nicht dokumentiert.

Die belastbare Schlussfolgerung lautet deshalb weder „die gesamte Standardpipeline ist MIT“ noch „TRELLIS.2 ist pauschal kommerziell verboten“. Microsoft veröffentlicht Kerncode und Modellkarte unter MIT; der aktuelle Standardpfad bindet aber unter anderem den nicht-kommerziellen RMBG-2.0-Self-Hosted-Checkpoint, `nvdiffrast` beim texturierten GLB-Baking und eine verpflichtende DINOv3-Komponente mit eigener Lizenz ein. Der tatsächlich eingesetzte Bildkodierungs-, Background-Removal-, Rendering-, Baking- und Exportpfad muss komponentengenau geprüft oder ersetzt werden. Das ist keine Rechtsberatung.

Diese Abgrenzung ist auch bei anderen offenen KI-Projekten wichtig. Offener Kerncode bedeutet nicht automatisch, dass jede Abhängigkeit und jeder vorkonfigurierte Workflow dieselben Rechte gewährt. Eine ähnliche Trennung beschreibe ich im Artikel zu Open-Weight-Modellen.

Für wen lohnt sich TRELLIS.2?

Meine klare Empfehlung: Teste TRELLIS.2, wenn du Zugang zu passender NVIDIA-Hardware hast und die O-Voxel-Repräsentation für Forschung, Prototypen oder visuelle Assets bewerten willst. Für einen kommerziellen Asset-Service oder eine automatisierte 3D-Druck-Pipeline ist das Repository allein noch keine fertige Grundlage.

FAQ: Häufig gestellte Fragen zu TRELLIS.2

Ist Microsoft TRELLIS.2 Open Source?

Der Microsoft-Code steht unter der MIT-Lizenz, und die Gewichte werden in der Modellkarte ebenfalls als MIT geführt. Die vollständige Pipeline enthält jedoch Komponenten mit eigenen Bedingungen: unter anderem nicht-kommerzielle NVIDIA- und BRIA-Lizenzen sowie DINOv3 mit einer eigenen, zustimmungspflichtigen Lizenz. „Open Source“ beschreibt deshalb nicht automatisch den gesamten vorkonfigurierten Exportworkflow.

Kann TRELLIS.2 Text direkt in ein 3D-Modell umwandeln?

Nein. Der dokumentierte TRELLIS.2-Pfad ist Image-to-3D. Für Text-to-3D schlägt das Repository vor, zunächst ein Bild zu erzeugen und dieses als Eingabe zu verwenden.

Läuft TRELLIS.2 auf einer normalen Gaming-GPU?

Ein Reddit-Post vom 24. April 2026 behauptet für einen inoffiziellen RTX-3060-Lauf 7,8 GB VRAM und 13 Minuten 15 Sekunden. Build- oder Commit-ID, Logs und ein reproduzierbares Protokoll fehlen; zudem sind Auflösung und Eingabemodus inkonsistent beschrieben. Das ist nur eine Anekdote, kein verifizierter Benchmark. Offiziell fordert Microsoft mindestens 24 GB VRAM.

Sind die 3D-Assets nach drei Sekunden fertig?

Nur im eng definierten Herstellerbenchmark. Die 3 Sekunden gelten für Shape und Material bei 512³ auf einer NVIDIA H100. Vorverarbeitung, Modellstart, Export und Nachbearbeitung sind damit nicht als vollständige Produktionszeit belegt.

Welche PBR-Materialien erzeugt TRELLIS.2?

TRELLIS.2 modelliert Base Color, Roughness, Metallic und Alpha beziehungsweise Opacity laut Paper. Beim Standard-GLB-Export bleibt Transparenz laut Repository zunächst deaktiviert und muss in der Zielsoftware manuell eingerichtet werden.

Sind TRELLIS.2-Meshes wasserdicht und für 3D-Druck geeignet?

Nicht garantiert. Das Paper berichtet kleine Löcher und erklärt, dass der Sparse Decoder eine perfekt geschlossene, mannigfaltige Oberfläche nicht immer sicherstellt; die Modellkarte warnt deshalb ausdrücklich bei Anwendungen, die streng wasserdichte Geometrie benötigen. Vor einem Druck sind Reparatur, Wandstärkenprüfung, Skalierung, Symmetrie- und Topologiekontrolle Pflicht.

Unterstützt TRELLIS.2 AMD-GPUs oder Apple Silicon offiziell?

Nein. Der offizielle Pfad ist Linux mit NVIDIA CUDA. AMD-/ROCm- und Apple-/MPS-Lösungen sind experimentelle Community-Arbeit, die in einem GitHub-Issue diskutiert wird.

Darf ich erzeugte Assets verkaufen?

Das lässt sich nicht pauschal aus der MIT-Lizenz des Kernprojekts ableiten. Für reine Geometrie nennt ein Microsoft-Collaborator in Issue 22 die NVIDIA-Renderer als verzichtbar; der aktuelle offizielle texturierte `to_glb()`-Pfad nutzt `nvdiffrast` jedoch direkt. Prüfe außerdem DINOv3, Background Removal und alle weiteren Komponenten. Bei kommerziellem Risiko brauchst du eine juristische Prüfung.

Fazit

TRELLIS.2 ist keine bloße Image-to-3D-Demo. O-Voxel verbindet komplexe Geometrie, PBR-Material und Opazität in einer nativen, stark komprimierten 3D-Repräsentation. Das ist technisch überzeugend; die H100-Laufzeiten lassen sich aber nicht auf lokale Hardware übertragen.

Für Forschung, Prototyping und visuelle Assets auf einer leistungsfähigen Linux-/NVIDIA-Umgebung ist TRELLIS.2 einen Test wert. Für 3D-Druck, automatisierte Produktion oder kommerzielle PBR-Exporte brauchst du zusätzlich Mesh-QA, reproduzierbare eigene Benchmarks und ein Dependency-Audit. Dass offene Hauptkomponenten keine einfache lokale oder kommerzielle Gesamtpipeline garantieren, zeigt auch die Einordnung zu Open-Weight-Modellen.

## Quellen

### Primärquellen

• Microsoft TRELLIS.2 – Projektseite
• Native and Compact Structured Latents for 3D Generation – Paper
• Microsoft TRELLIS.2 – GitHub-Repository
• Microsoft TRELLIS.2-4B – Modellkarte
• TRELLIS.2 – MIT-Lizenz
• GitHub Issue 22 – Commercial use of TRELLIS.2
• nvdiffrast – Lizenz
• Tatsächlich installierter nvdiffrec-renderutils-Fork – Lizenz
• BRIA RMBG-2.0 – Modellkarte und Lizenz
• DINOv3 ViT-L/16 – Modellkarte
• DINOv3 – Lizenz

### Vergleichs- und Gegenquellen

• SymTRELLIS – Symmetry-Enforced Voxel Latents for 3D Generation
• Hunyuan3D 2.0 – Paper
• Hunyuan3D-2 – GitHub-Repository
• Step1X-3D – Paper
• Direct3D-S2 – Paper
• GitHub Issue 74 – experimentelle Plattform-Ports
• Community-Einzelbericht: inoffizieller Low-VRAM-Lauf auf RTX 3060

Recherche-Synthese: NotebookLM zu TRELLIS.2