Wie CLIP-Smart-Tagging funktioniert
Eine der spannendsten Funktionen von MeshSeen ist das KI-Smart-Tagging — die Fähigkeit, deine 3D-Modelle ohne manuellen Aufwand automatisch zu kategorisieren. So funktioniert es unter der Haube.
Was ist CLIP?
CLIP (Contrastive Language-Image Pre-training) ist ein von OpenAI entwickeltes KI-Modell, das die Beziehung zwischen Bildern und Text versteht. Anders als herkömmliche Bildklassifikatoren, die nur eine feste Menge an Kategorien erkennen können, kann CLIP Bilder mit beliebigen Textbeschreibungen abgleichen.
Unsere Pipeline
Wenn du ein neues Modell indizierst, durchläuft MeshSeen diese Pipeline:
- Rendern — Wir erzeugen ein Thumbnail-Bild des 3D-Modells aus mehreren Blickwinkeln
- Einbetten — Das CLIP-Modell erstellt ein Vektor-Embedding des Bildes
- Abgleichen — Wir vergleichen das Embedding mit unseren Kategoriebeschreibungen
- Taggen — Die am besten passenden Kategorien werden als Tags vergeben
Datenschutz zuerst
Der gesamte Prozess läuft lokal auf deinem Rechner. Es werden niemals Daten an externe Server gesendet. Das CLIP-Modell ist in MeshSeen enthalten und läuft auf deiner CPU (oder GPU, falls verfügbar).
Performance
Auf einem modernen MacBook Pro dauert das Taggen ungefähr:
- 50 ms pro Modell auf Apple Silicon
- 200 ms pro Modell auf Intel
- 25 ms pro Modell mit GPU-Beschleunigung
Wie geht es weiter
Wir arbeiten daran, dir zu ermöglichen, eigene Kategorien für spezialisierte Sammlungen zu definieren. Stell dir vor, du taggst deine Warhammer-Miniaturen automatisch nach Fraktion oder sortierst mechanische Teile nach Funktion.
Bleib dran für Updates!