CLIP スマートタグ付けの仕組み
MeshSeen の最も魅力的な機能のひとつが AI スマートタグ付け です。手作業なしで 3D モデルを自動的に分類できるこの機能が、内部でどのように動作しているのかを解説します。
CLIP とは？
CLIP（Contrastive Language-Image Pre-training）は、OpenAI が開発した AI モデルで、画像とテキストの関係を理解します。固定されたカテゴリのセットしか認識できない従来の画像分類器とは異なり、CLIP は画像を 任意の テキスト記述と照合できます。
私たちのパイプライン
新しいモデルをインデックス化すると、MeshSeen は以下のパイプラインを実行します。
- レンダリング — 3D モデルのサムネイル画像を複数の角度から生成します
- 埋め込み — CLIP モデルが画像のベクトル埋め込みを作成します
- 照合 — その埋め込みを私たちのカテゴリ記述と比較します
- タグ付け — 最も一致度の高いカテゴリをタグとして割り当てます
プライバシー第一
すべての処理は お使いのマシン上でローカルに 実行されます。データが外部サーバーに送信されることは一切ありません。CLIP モデルは MeshSeen に同梱されており、CPU（利用可能な場合は GPU）上で動作します。
パフォーマンス
最新の MacBook Pro では、タグ付けにかかる時間はおおよそ次のとおりです。
- Apple Silicon でモデル 1 件あたり 50ms
- Intel でモデル 1 件あたり 200ms
- GPU アクセラレーション使用時でモデル 1 件あたり 25ms
次の展開
現在、専門的なコレクション向けに カスタムカテゴリ を定義できる機能を開発中です。Warhammer のミニチュアを陣営ごとに自動でタグ付けしたり、機械部品を機能ごとに分類したりする様子を想像してみてください。
続報をお楽しみに！