Miksi näin tapahtuu? Malli uskoo, että merihevosemoji on olemassa, mutta miksi se saa sen tuottamaan *erilaisen* emojin? Tässä on vihje kaikkien suosikki aliarvostetusta tulkintatyökalusta, Logit Lensistä! Logit Lensissä käytämme mallin lm_head oudolla tavalla. Tyypillisesti lm_head käytetään muuttamaan jäännös (mallikerrosten päälle muodostunut sisäinen tila) token-todennäköisyyksien joukoksi viimeisen kerroksen jälkeen. Mutta Logit Lensissä käytämme lm_head *jokaisen* kerroksen jälkeen - näyttäen meille, mitä merkkejä malli tuottaisi, jos tämä kerros olisi viimeinen kerros. varhaisissa kerroksissa tämä johtaa vaikeasti tulkittaviin tiloihin. Mutta kun siirrymme kerrosten läpi, malli tarkentaa jäännöksen iteratiivisesti ensin kohti tekstin jatkamisen kannalta hyödyllisiä käsitteitä ja sitten kohti lopullista ennustetta. kun katsomme kuvaa uudelleen, viimeisessä kerroksessa meillä on mallin todellinen tulos - ĠðŁ, IJ, ł - eli emoji-tavuetuliite, jota seuraa loput kalaemojit. (Se näyttää Unicode-hölynpölyltä tokenisoinnin omituisuuden takia - älä huoli siitä. Jos olet utelias, kysy Claudelta tästä koodirivistä: 'bytes([byte_decoder[c] for c in 'ĠðŁIJł']).decode('utf-8') == ' 🐠 '') Mutta katsokaa mitä tapahtuu keskimmäisissä kerroksissa - emme saa vain emoji-tavuja! Saamme nuo *käsitteet*, erityisesti merihevosen käsitteen. Esimerkiksi kerroksessa 52 saamme "merihevosen hevosen". myöhemmin top-k:ssa saamme sekoituksen "meri", "hevonen" ja emoji-etuliitteen "ĠðŁ". Joten mitä malli ajattelee? merihevonen + emoji! se yrittää rakentaa merihevosemojin jäännösesityksen. Miksi se tekisi niin? No, katsotaanpa, miten lm_head todella toimii. lm_head on valtava matriisi jäännöskokoisia vektoreita, jotka liittyvät token-tunnuksiin. Kun jäännös syötetään siihen, se vertaa jäännöstä kuhunkin merkkivektoriin ja valitsee yhdessä näytteenottajan kanssa token-tunnuksen, jonka vektori muistuttaa eniten jäännöstä. (Teknisemmin: se on lineaarinen kerros ilman esijännitystä, joten v @ w.T pisteyttää tuotteet jokaisella upotusvektorilla, sitten log_softmax ja argmax/lämpötilanäytteellä.) Joten jos malli haluaa tulostaa sanan "hei", sen on rakennettava "hello"-tulostetokenin vektorin kaltainen jäännös, jonka lm_head voi muuttaa hello-tunnuksen tunnukseksi. Ja jos malli haluaa tulostaa merihevosemojin, sen on rakennettava jäännös, joka on samanlainen kuin merihevosemojin tulostustunnuksen vektori - joka teoriassa voi olla mikä tahansa mielivaltainen arvo, Mutta käytännössä on merihevonen + emoji, Word2VEC-tyyliin. Ainoa ongelma on, että merihevosemojia ei ole olemassa! Joten kun tämä merihevonen + emoji -jäännös osuu lm_head, se tekee pistetulonsa kaikkien vektorien päälle, ja näytteenottaja valitsee lähimmän merkin - kalaemojin. Nyt tämä diskretisointi on arvokasta tietoa! voit nähdä Armisticen esimerkistä, että kun token sijoitetaan takaisin kontekstiin autoregressiivisesti, malli voi kertoa, että se ei ole merihevosemoji. Joten se yrittää uudelleen, heiluttaa jäännösjäämää ja saa hieman erilaisen emojin, huuhtelee ja toistaa, kunnes se tajuaa, mitä tapahtuu, luovuttaa tai tulostokenit loppuvat. Mutta ennen kuin malli saa väärän tulostustunnuksen lm_head, se ei vain tiedä, että lm_head ei ole merihevosemojia. Se olettaa, että Seahorse + emoji tuottaa haluamansa tunnukset. ------------------ Spekuloidakseni (vielä enemmän) mietin, onko tämä osa RL:n etua - se antaa malleille tietoa lm_head, jota on muuten vaikea saada, koska se on kerrospinon lopussa. (Muista, että perusmalleja ei kouluteta omilla tuotoksillaan/käyttöönotoillaan - se tapahtuu vain RL:ssä.)

Miksi juhlimme Brekyatia? Brekyat on paikka, jossa rituaalisesti tuhoamme valtion joka vuosi. Miksi kansamme rituaalisesti tuhoaa valtion joka vuosi? koska olemme paimentolaisia. Mikä on paimentolainen? joku, joka vaeltaa. Mutta me emme vaella? Mutta olemme paimentolaisia, koska elämme valtion ulkopuolella. Paimentolaiset asuvat osavaltion ulkopuolella? Kyllä, vaeltaessaan he ovat valtion valvonnan ulkopuolella ja tuhoavat sen ajoittain. Mutta me emme vaella? Pakenemme osavaltiota jopa enemmän kuin vaeltavat esi-isämme - tuhoamalla sen vuosittain. Siinä ei ole järkeä. Se on kulttuuria, siinä ei tarvitse olla järkeä. Mene nyt laittamaan ruohokruunu.

Keskustelusta Sonnet 3.6:n kanssa mallipersoonallisuusavaruudesta