与LLM相关的纯数学Q: 不相关的标记(如“狗”和“太阳”)在嵌入空间中应大致对应于正交向量。 那么,在ℝ^k中,成对正交向量的最大数量是多少?如果它们只是“近似”正交,即∣vi⋅vj∣<ε,∀ i≠j呢?