Kattavuusperiaate: Miten esikoulutus mahdollistaa koulutuksen jälkeisen koulutuksen Uusi preprint, jossa tarkastelemme mekanismeja, joiden avulla seuraavan tokenin ennustaminen tuottaa malleja, jotka onnistuvat loppupään tehtävissä. Vastaus sisältää mittarin, jota kutsumme "peittoprofiiliksi", ei ristientropiaksi.