¡se ve familiar!
CreativeMath
CreativeMath18 oct, 04:59
Matemáticas puras Q relevantes para LLMs: Los tokens no relacionados (como "perro" y "sol") deberían corresponder aproximadamente a vectores ortogonales en el espacio de incrustación. Entonces, en ℝ^k, ¿cuál es el número máximo de vectores ortogonales por pares? ¿Qué pasa si solo son "casi" ortogonales, así que ∣vi⋅vj∣<ε, ∀ i≠j?
resumen:
@boops_u (aunque, por supuesto, es logarítmico en el número de puntos) así que si no explota en la dimensión base, entonces tienes toda la razón y esto es un corolario!
@boops_u ¿cuál es la probabilidad/error en la dimensión del espacio base? En JL, normalmente asumimos que esto es constante ya que el número de puntos es grande (y preguntamos cómo varía el espacio de proyección)
@boops_u (creo que es un poco sospechoso ya que esta desigualdad depende mucho de las dimensiones del campo base, porque esto es lo que nos da concentración en primer lugar... así que no estoy 100% seguro!)
@boops_u (para este, mi "intuición" es que una buena base se cancelará ~ a cero en promedio, por lo que su norma debería estar igualmente cerca de cero)
45,41K