Чиста математика Q актуальна для LLM: Не пов'язані між собою токени (такі як "собака" і "сонце") повинні приблизно відповідати ортогональним векторам у просторі вкладення. Отже, у R^k, яке максимальне число. попарних ортогональних векторів? А як щодо того, якщо вони лише «майже» ортогональні, тому ∣vi⋅vj∣<ε, ∀ i≠j?