Jeszcze jedna (mała) rzecz: wprowadzenie mxbai-colbert-edge-v0 17M i 32M.
Są wynikiem łatwego do powtórzenia sposobu trenowania modeli ColBERT od podstaw.
Są też silne: wariant 17M zająłby pierwsze miejsce na liście LongEmbed dla modeli poniżej 1B parametrów.
Lepsze warianty projekcji poprawiają ColBERT
Wprowadzamy rzadką darmową korzyść: niewielką modyfikację architektoniczną, która poprawia wydajność ColBERT we wszystkich aspektach, bez żadnych rzeczywistych kompromisów.
Modyfikacja? Lepsze końcowe projekcje niż obecnie stosowana projekcja liniowa.