Kattavuusperiaate: Miten esikoulutus mahdollistaa koulutuksen jälkeisen koulutuksen
Uusi preprint, jossa tarkastelemme mekanismeja, joiden avulla seuraavan tokenin ennustaminen tuottaa malleja, jotka onnistuvat loppupään tehtävissä.
Vastaus sisältää mittarin, jota kutsumme "peittoprofiiliksi", ei ristientropiaksi.