Sunt extrem de entuziasmat de potențialul fidelității și interpretabilității lanțului de gândire. A influențat semnificativ designul modelelor noastre de raționament, începând cu o1-preview. Deoarece sistemele AI cheltuiesc mai mult calcul lucrând, de exemplu la probleme de cercetare pe termen lung, este esențial să avem o modalitate de a le monitoriza procesul intern. Proprietatea minunată a CoT-urilor ascunse este că, deși încep bazate pe un limbaj pe care îl putem interpreta, procedura de optimizare scalabilă nu este în contradicție cu capacitatea observatorului de a verifica intenția modelului - spre deosebire de supravegherea directă cu un model de recompensă. Tensiunea aici este că, dacă CoT-urile nu ar fi ascunse în mod implicit și vedem procesul ca parte a rezultatului AI, există o mulțime de stimulente (și, în unele cazuri, necesitate) pentru a-l supraveghea. Cred că putem lucra pentru ce este mai bun din ambele lumi aici - ne antrenăm modelele să fie grozave în a-și explica raționamentul intern, dar în același timp să păstreze capacitatea de a-l verifica ocazional. Fidelitatea CoT face parte dintr-o direcție mai largă de cercetare, care este antrenarea pentru interpretabilitate: stabilirea obiectivelor într-un mod care antrenează cel puțin o parte a sistemului să rămână onest și monitorizabil la scară. Continuăm să ne creștem investițiile în această cercetare la OpenAI.