Satu hal (kecil) lagi: Memperkenalkan mxbai-colbert-edge-v0 17M dan 32M.
Mereka adalah hasil dari cara yang mudah direproduksi untuk melatih model ColBERT dari awal.
Mereka juga kuat: varian 17M akan menempati peringkat pertama di papan peringkat LongEmbed untuk model di bawah parameter 1B.
Varian Proyeksi yang Lebih Baik Meningkatkan ColBERT
Kami memperkenalkan makan siang gratis yang langka: modifikasi arsitektur kecil yang meningkatkan kinerja ColBERT secara keseluruhan, tanpa pengorbanan nyata.
Modifikasinya? Proyeksi akhir yang lebih baik daripada proyeksi linier yang digunakan saat ini.