Reine Mathematik Q relevant für LLMs: Unabhängige Tokens (wie "Hund" und "Sonne") sollten grob orthogonalen Vektoren im Einbettungsraum entsprechen. Also, in ℝ^k, was ist die maximale Anzahl an paarweise orthogonalen Vektoren? Was ist, wenn sie nur "nahezu" orthogonal sind, also ∣vi⋅vj∣<ε, ∀ i≠j?