Čistě matematické Q relevantní pro LLM: Nesouvisející tokeny (například "dog" a "sun") by měly zhruba odpovídat ortogonálním vektorům ve vloženém prostoru. Takže, v R^k, jaké je maximum ne. párových ortogonálních vektorů? A co když jsou jen "téměř" ortogonální, takže ∣vi⋅vj∣<ε, ∀ i≠j?