與LLM相關的純數學問題: 不相關的標記(如「狗」和「太陽」)應大致對應於嵌入空間中的正交向量。 那麼,在ℝ^k中,最多可以有多少對正交向量?如果它們只是「幾乎」正交,即∣vi⋅vj∣<ε,∀ i≠j,情況又如何?