Ik ben enorm enthousiast over het potentieel van gedachteketentrouw en interpreteerbaarheid. Het heeft het ontwerp van onze redeneermodellen aanzienlijk beïnvloed, te beginnen met o1-preview. Naarmate AI-systemen meer geld uitgeven aan bijvoorbeeld langetermijnonderzoeksproblemen, is het van cruciaal belang dat we een manier hebben om hun interne proces te monitoren. De prachtige eigenschap van verborgen CoT's is dat, hoewel ze beginnen met een taal die we kunnen interpreteren, de schaalbare optimalisatieprocedure niet in strijd is met het vermogen van de waarnemer om de intentie van het model te verifiëren - in tegenstelling tot bijvoorbeeld direct toezicht met een beloningsmodel. De spanning hier is dat als de CoT's niet standaard verborgen waren, en we het proces zien als onderdeel van de output van de AI, er veel prikkel (en in sommige gevallen noodzaak) is om er toezicht op te houden. Ik geloof dat we hier naar het beste van twee werelden kunnen werken: onze modellen trainen om goed te zijn in het uitleggen van hun interne redenering, maar tegelijkertijd toch de mogelijkheid behouden om het af en toe te verifiëren. CoT-trouw maakt deel uit van een bredere onderzoeksrichting, namelijk training voor interpreteerbaarheid: doelen stellen op een manier die ten minste een deel van het systeem traint om eerlijk en controleerbaar te blijven met schaal. Bij OpenAI blijven we onze investering in dit onderzoek verhogen.