熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
看起來很熟悉!


10月18日 04:59
與LLM相關的純數學問題:
不相關的標記(如「狗」和「太陽」)應大致對應於嵌入空間中的正交向量。
那麼,在ℝ^k中,最多可以有多少對正交向量?如果它們只是「幾乎」正交,即∣vi⋅vj∣<ε,∀ i≠j,情況又如何?
簡而言之,
@boops_u(雖然當然是以點數的對數來計算)
所以如果它在基礎維度上不會爆炸,那麼你完全是對的,這是一個推論!
@boops_u 像是基底空間的維度中的概率/誤差是多少?在 JL 中,我們通常假設這是常數,因為點的數量很大(並詢問投影空間如何變化)
@boops_u(我覺得這有點可疑,因為這個不平等確實非常依賴於基礎領域的維度,因為這正是讓我們集中注意力的原因……所以我不太確定!)
@boops_u(對於這個,我的“直覺”是,良好的基礎在平均情況下會~抵消到零,因此它的範數應該也接近於零)
45.41K
熱門
排行
收藏