Rubriques tendance
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
ça a l'air familier !
18 oct., 04:59
Mathématiques pures Q pertinentes pour les LLM :
Les tokens non liés (comme "chien" et "soleil") devraient correspondre à des vecteurs orthogonaux dans l'espace d'embedding.
Donc, dans ℝ^k, quel est le nombre maximum de vecteurs orthogonaux par paires ? Que se passe-t-il s'ils ne sont que "presque" orthogonaux, donc ∣vi⋅vj∣<ε, ∀ i≠j ?
tl;dr,
@boops_u (bien sûr, c'est logarithmique par rapport au nombre de points)
donc si ça ne explose pas dans la dimension de base, alors tu as tout à fait raison et c'est un corollaire !
@boops_u comme quelle est la probabilité/l'erreur dans la dimension de l'espace de base ? dans JL, nous supposons généralement que cela est constant car le nombre de points est grand (et nous demandons comment l'espace de projection varie)
@boops_u (c'est juste un peu suspect je pense puisque cette inégalité dépend beaucoup des dimensions du champ de base, car c'est ce qui nous donne la concentration en premier lieu... donc je ne suis pas sûr à 100% !)
@boops_u (pour celui-ci, mon "intuition" est qu'une bonne base se rapprochera en moyenne de zéro, donc sa norme devrait également être proche de zéro)
66,93K
Meilleurs
Classement
Favoris