Виглядає знайомо!
CreativeMath
CreativeMath18 жовт., 04:59
Чиста математика Q актуальна для LLM: Не пов'язані між собою токени (такі як "собака" і "сонце") повинні приблизно відповідати ортогональним векторам у просторі вкладення. Отже, у R^k, яке максимальне число. попарних ортогональних векторів? А як щодо того, якщо вони лише «майже» ортогональні, тому ∣vi⋅vj∣<ε, ∀ i≠j?
тл; Доктор
@boops_u (хоча ofc це логарифмічно за кількістю точок) Отже, якщо він не вибухає в базовому вимірі, то ви абсолютно праві, і це наслідок!
@boops_u як яка ймовірність/похибка в розмірності базового простору ? в JL ми зазвичай припускаємо, що це константа, оскільки число точок велике (і запитуємо, як змінюється простір проекції)
@boops_u (я думаю, це просто трохи підозріло, оскільки ця нерівність дуже залежить від розмірів базового поля, тому що саме це змушує нас концентруватися в першу чергу... Так що я не впевнений на 100% !)
@boops_u (для цього моя "інтуїція" така, що хороший базис ~ скасує до нуля на avg, тому його норма аналогічно повинна бути близькою до нуля)
66,93K