ser kjent ut!
CreativeMath
CreativeMath18. okt., 04:59
Ren matematikk Q relevant for LLM-er: Urelaterte tokens (som «hund» og «sol») skal omtrent tilsvare ortogonale vektorer i innebyggingsrommet. Så, i R^k, hva er maks nr. av parvise ortogonale vektorer? Hva med om de bare er "nesten" ortogonale, så ∣vi⋅vj∣<ε, ∀ i≠j?
Tl; Dr
@boops_u (selv om det selvfølgelig er logaritmisk på antall poeng) Så hvis det ikke eksploderer i basisdimensjonen, så har du helt rett, og dette er en naturlig konsekvens !
@boops_u som hva er sannsynligheten/feilen i dimensjonen til basisrommet? i JL antar vi vanligvis at dette er konstant ettersom antall punkter er stort (og spør hvordan projeksjonsrommet varierer)
@boops_u (det er bare litt suspekt tror jeg siden denne ulikheten i stor grad avhenger av dimensjonene til grunnfeltet, fordi det er dette som får oss til å konsentrere oss i utgangspunktet... Så jeg er ikke 100% sikker!)
@boops_u (for denne er min "intuisjon" at et godt grunnlag vil ~ kansellere til null på gjennomsnitt, så normen bør på samme måte være nær null)
45,41K