Tämä on viimeinen viikkoni @AIatMeta. Oli vaikea päätös olla jatkamatta uuden Superintelligence TBD -laboratorion kanssa, varsinkin kun otetaan huomioon lahjakkuus ja laskentatiheys. Mutta oltuani 7,5 vuotta Google Brainissa, DeepMindissä ja Metassa tunsin vetoa ottaa toisenlainen riski. Markin ja @alexandr_wang puhe Superintelligence-tiimin rakentamisesta oli uskomattoman vakuuttava. Mutta lopulta päätin noudattaa Markin omaa neuvoa: "Maailmassa, joka muuttuu niin nopeasti, suurin riski, jonka voit ottaa, on olla ottamatta mitään riskiä". Lyhyen Meta-aikani aikana työnsimme rajoja "ajattelevien" mallien jälkikoulutuksessa. Erityisesti: - Tiheän 8B-mallin nostaminen lähelle Deepseek-R1-suorituskykyä RL-skaalauksella. - Synteettisen datan käyttäminen harjoituksen aikana RL:n lämpimään aloittamiseen. - Kehitetään parempia politiikan mukaisia tislausmenetelmiä. Nautin todella työskentelystä @_arohan_:n, @brandfonbrener:n, Leo Lin, @ErykHelenowski:n, @DatHuynh13:n, Xiaochengin, Jian, Boduon ja Yanjunin kanssa.