Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
terlihat akrab!
18 Okt, 04.59
Q matematika murni relevan untuk LLM:
Token yang tidak terkait (seperti "anjing" dan "matahari") secara kasar harus sesuai dengan vektor ortogonal dalam ruang penyematan.
Jadi, Di R^k, berapa max no. vektor ortogonal berpasangan? Bagaimana jika mereka hanya "hampir" ortogonal, jadi ∣vi⋅vj∣<ε, ∀ i≠j?
Tl; dr,
@boops_u (meskipun ofc itu logaritmik pada jumlah titik)
Jadi jika tidak meledak di dimensi dasar, maka Anda benar-benar benar dan ini adalah konsekuensinya!
@boops_u seperti apa probabilitas/kesalahan dalam dimensi ruang dasar? di JL kita biasanya berasumsi ini konstan karena jumlah titik besar (dan bertanya bagaimana ruang proyeksi bervariasi)
@boops_u (ini hanya sedikit mencurigakan saya pikir karena ketidaksetaraan ini sangat tergantung pada dimensi medan dasar, karena inilah yang membuat kita konsentrasi sejak awal... Jadi saya tidak 100% yakin !)
30,39K
Teratas
Peringkat
Favorit