Ren matematik Q relevant för LLM: Orelaterade token (som "hund" och "sol") bör ungefär motsvara ortogonala vektorer i inbäddningsrymden. Så, i R^k, vad är max nr. av parvisa ortogonala vektorer? Vad sägs om de bara är "nästan" ortogonala, så ∣vi⋅vj∣<ε, ∀ i≠j?