Mathématiques pures Q pertinentes pour les LLM : Les tokens non liés (comme "chien" et "soleil") devraient correspondre à des vecteurs orthogonaux dans l'espace d'embedding. Donc, dans ℝ^k, quel est le nombre maximum de vecteurs orthogonaux par paires ? Que se passe-t-il s'ils ne sont que "presque" orthogonaux, donc ∣vi⋅vj∣<ε, ∀ i≠j ?