看起來很熟悉!
CreativeMath
CreativeMath10月18日 04:59
與LLM相關的純數學問題: 不相關的標記(如「狗」和「太陽」)應大致對應於嵌入空間中的正交向量。 那麼,在ℝ^k中,最多可以有多少對正交向量?如果它們只是「幾乎」正交,即∣vi⋅vj∣<ε,∀ i≠j,情況又如何?
簡而言之,
@boops_u(雖然當然是以點數的對數來計算) 所以如果它在基礎維度上不會爆炸,那麼你完全是對的,這是一個推論!
@boops_u 像是基底空間的維度中的概率/誤差是多少?在 JL 中,我們通常假設這是常數,因為點的數量很大(並詢問投影空間如何變化)
@boops_u(我覺得這有點可疑,因為這個不平等確實非常依賴於基礎領域的維度,因為這正是讓我們集中注意力的原因……所以我不太確定!)
@boops_u(對於這個,我的“直覺”是,良好的基礎在平均情況下會~抵消到零,因此它的範數應該也接近於零)
45.41K