Una cosa más (pequeña): presentamos mxbai-colbert-edge-v0 17M y 32M.
Son el resultado de una forma fácilmente reproducible de entrenar modelos ColBERT desde cero.
También son fuertes: la variante 17M ocuparía el primer lugar en la tabla de clasificación de LongEmbed para modelos bajo parámetros 1B.
Mejores variantes de proyección mejoran ColBERT
Presentamos un raro almuerzo gratis: una pequeña modificación arquitectónica que mejora el rendimiento de ColBERT en todos los ámbitos, sin compensaciones reales.
¿La modificación? Mejores proyecciones finales que la proyección lineal utilizada actualmente.