Ren matematikk Q relevant for LLM-er: Urelaterte tokens (som «hund» og «sol») skal omtrent tilsvare ortogonale vektorer i innebyggingsrommet. Så, i R^k, hva er maks nr. av parvise ortogonale vektorer? Hva med om de bare er "nesten" ortogonale, så ∣vi⋅vj∣<ε, ∀ i≠j?