vypadá povědomě!
CreativeMath
CreativeMath18. 10. 04:59
Čistě matematické Q relevantní pro LLM: Nesouvisející tokeny (například "dog" a "sun") by měly zhruba odpovídat ortogonálním vektorům ve vloženém prostoru. Takže, v R^k, jaké je maximum ne. párových ortogonálních vektorů? A co když jsou jen "téměř" ortogonální, takže ∣vi⋅vj∣<ε, ∀ i≠j?
Tl; dr
@boops_u (i když OFC je to logaritmické na počet bodů) Takže pokud to nevybuchne v základní dimenzi, pak máte naprostou pravdu a to je důsledek!
@boops_u jako jaká je pravděpodobnost/chyba v dimenzi základního prostoru? v JL obvykle předpokládáme, že je to konstantní, protože počet bodů je velký (a ptáme se, jak se mění projekční prostor)
@boops_u (myslím, že je to trochu podezřelé, protože tato nerovnost velmi závisí na rozměrech základního pole, protože to je to, co nás v první řadě přivádí ke koncentraci... Takže si nejsem 100% jistý !)
@boops_u (u tohoto je moje "intuice" taková, že dobrý základ se na průměru ~ zruší na nulu, takže jeho norma by se měla podobně blížit nule)
66,92K