Q matematika murni relevan untuk LLM: Token yang tidak terkait (seperti "anjing" dan "matahari") secara kasar harus sesuai dengan vektor ortogonal dalam ruang penyematan. Jadi, Di R^k, berapa max no. vektor ortogonal berpasangan? Bagaimana jika mereka hanya "hampir" ortogonal, jadi ∣vi⋅vj∣<ε, ∀ i≠j?