Ještě jedna (malá) věc: Představujeme mxbai-colbert-edge-v0 17M a 32M.
Jsou výsledkem snadno reprodukovatelného způsobu trénování modelů ColBERT od nuly.
Jsou také silné: varianta 17M by se umístila na prvním místě v žebříčku LongEmbed pro modely pod parametry 1B.
Lepší varianty projekce zlepšují ColBERT
Představujeme vzácný oběd zdarma: drobnou architektonickou úpravu, která zlepšuje výkon ColBERT ve všech oblastech, aniž by došlo ke skutečným kompromisům.
Úprava? Lepší výsledné projekce než v současnosti používané lineární projekce.