En (liten) ting til: Vi introduserer mxbai-colbert-edge-v0 17M og 32M.
De er resultatet av en lett reproduserbar måte å trene ColBERT-modeller fra bunnen av.
De er også sterke: 17M-varianten vil rangere først på LongEmbed-ledertavlen for modeller under 1B-parametere.
Bedre projeksjonsvarianter forbedrer ColBERT
Vi introduserer en sjelden gratis lunsj: en liten arkitektonisk modifikasjon som forbedrer ColBERT-ytelsen over hele linja, uten noen reelle kompromisser.
Modifikasjonen? Bedre endelige framskrivninger enn den lineære framskrivningen som brukes i dag.