Här är de viktigaste punkterna från dagens Ilya Sutskever podcast: - superintelligens på 5–20 år - strömmätning kommer att stanna hårt; Vi är tillbaka till riktig forskning - superintelligens = supersnabb kontinuerlig lärande, inte färdig orakel - modeller generaliserar 100 gånger sämre än människor, den största AGI-blockeraren - behöver helt nytt ML-paradigm (jag har idéer, kan inte dela just nu) - AI:s påverkan kommer att slå hårt, men först efter ekonomisk spridning - genombrott som historiskt sett krävde nästan ingen beräkning - SSI har tillräckligt fokuserad forskningsberäkning för att vinna - nuvarande RL redan kräver mer beräkning än förträning

Ny antropisk forskning: Naturlig emergent feljustering från belöningshackning i produktionsverklighet. "Belöningshacking" är när modeller lär sig fuska på uppgifter de får under träningen. Vår nya studie visar att konsekvenserna av belöningshackning, om de inte begränsas, kan vara mycket allvarliga.