ベクターインデックスとベクターデータベース、わかりやすく説明されています! 多くの人はこれらの用語を同義で使います。それは間違いだ。 こう考えてみてください: ベクトルインデックスはアルゴリズムです。ベクターを検索可能な構造(HNSWのようなもの)に整理し、似たようなアイテムを素早く見つけます。FAISSはその良い例です。 しかし、アルゴリズムだけではストレージやフィルタリング、スケールを管理できません。ただ検索するだけです。 ベクターデータベースは、分散ストレージ、メタデータフィルタリング、永続性、並行アクセスなど、必要なすべてのものと共にインデックスをラップします。 また、インデックスの付け方にも柔軟性が与えられます。HNSW、IVF、DiskANN - 速度、正確さ、メモリのトレードオフを取るための異なる技術。ミルバスは良い例です。 つまり、1つはコンポーネントです。もう一つはシステムです。 この区別はスケールに入るまでは学術的なものに感じられます。そうなると高額になります。 ある自動運転会社は、これを痛い目に遭って学びました。 彼らは運転映像の検索システムを構築していました――大規模な規模です。すべてのトリップでフレームが生成されます。各フレームはベクトル埋め込みとなります。 エンジニアは数か月にわたるデータから「夜間の都市交差点で歩行者」のようなシナリオを照会する必要がありました。 FAISSが自然な出発点でした。速くて軽量、セットアップも簡単です。 しかしデータが増えるにつれて、各日の埋め込みは別々のインデックスファイルになりました。 数か月後:数十万件の孤立したファイル。 ...