Ще одна (маленька) річ: представляємо mxbai-colbert-edge-v0 17M і 32M.
Вони є результатом легко відтворюваного способу навчання моделей ColBERT з нуля.
Вони також сильні: варіант 17M займе перше місце в таблиці лідерів LongEmbed для моделей з параметрами 1B.
Кращі варіанти проекції покращують ColBERT
Ми представляємо рідкісний безкоштовний обід: крихітну архітектурну модифікацію, яка покращує продуктивність ColBERT у всіх напрямках, без будь-яких реальних компромісів.
Яка модифікація? Кращі кінцеві проекції, ніж лінійна проекція, що використовується в даний час.