Чистая математика Q, относящаяся к LLM: Несвязанные токены (такие как "собака" и "солнце") должны примерно соответствовать ортогональным векторам в пространстве встраивания. Итак, в ℝ^k, каково максимальное количество попарно ортогональных векторов? А что, если они только "почти" ортогональны, так что ∣vi⋅vj∣<ε, ∀ i≠j?