見覚えがある!
CreativeMath
CreativeMath10月18日 04:59
LLM に関連する純粋な数学 Q: 無関係なトークン ("dog" や "sun" など) は、埋め込み空間の直交ベクトルにほぼ対応する必要があります。 だから、R^kでは、最大番号は何ですか。ペアワイズ直交ベクトルの?それらが「ほぼ」直交しているだけなので、∣vi⋅vj∣<ε、∀ i≠j の場合はどうでしょうか?
tl;博士
@boops_u(ただし、ポイント数は対数です) したがって、基本次元で爆発しない場合は、完全に正しく、これは当然の帰結です。
@boops_u、基本空間の次元の確率/誤差はどうですか?JLでは、通常、ポイントの数が多いため、これが一定であると仮定します(そして、投影空間がどのように変化するかを尋ねます)
@boops_u (この不等式はベースフィールドの次元に大きく依存するため、そもそもこれが私たちに集中力をもたらすものであるため、少し疑わしいと思います...だから私は100%確信が持てません!
@boops_u(これについては、私の「直感」は、良い基底は平均で~ゼロにキャンセルされるため、そのノルムも同様にゼロに近いはずです)
66.93K