Populaire onderwerpen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
komt bekend voor !
18 okt, 04:59
Zuivere wiskunde Q relevant voor LLM's:
Niet-verwante tokens (zoals "hond" en "zon") zouden ruwweg moeten overeenkomen met orthogonale vectoren in de embeddingruimte.
Dus, in ℝ^k, wat is het maximale aantal paargewijze orthogonale vectoren? Wat als ze alleen "bijna" orthogonaal zijn, dus ∣vi⋅vj∣<ε, ∀ i≠j?
tl;dr,
@boops_u (hoewel het natuurlijk logaritmisch is op het aantal punten)
dus als het niet explodeert in de basisdimensie, dan heb je helemaal gelijk en dit is een corollaire !
@boops_u wat is de waarschijnlijkheid/fout in de dimensie van de basisruimte? In JL gaan we er meestal van uit dat dit constant is, aangezien het aantal punten groot is (en we vragen hoe de projectieruimte varieert)
@boops_u (het is gewoon een beetje verdacht denk ik, aangezien deze ongelijkheid heel erg afhankelijk is van de dimensies van het basisveld, omdat dit ons in de eerste plaats concentratie geeft... dus ik ben niet 100% zeker!)
@boops_u (voor deze is mijn "intuïtie" dat een goede basis gemiddeld ~ naar nul zal annuleren, dus de norm zou ook dicht bij nul moeten zijn)
62,62K
Boven
Positie
Favorieten