Estoy extremadamente entusiasmado con el potencial de la fidelidad e interpretabilidad de la cadena de pensamiento. Ha influido significativamente en el diseño de nuestros modelos de razonamiento, comenzando con o1-preview. A medida que los sistemas de IA gastan más trabajo informático, por ejemplo, en problemas de investigación a largo plazo, es fundamental que tengamos alguna forma de monitorear su proceso interno. La maravillosa propiedad de los CoT ocultos es que, si bien comienzan basados en un lenguaje que podemos interpretar, el procedimiento de optimización escalable no es adverso a la capacidad del observador para verificar la intención del modelo, a diferencia de, por ejemplo, la supervisión directa con un modelo de recompensa. La tensión aquí es que si los CoT no estuvieran ocultos por defecto, y vemos el proceso como parte de la producción de la IA, hay muchos incentivos (y en algunos casos, necesidad) para supervisarlo. Creo que podemos trabajar hacia lo mejor de ambos mundos aquí: entrenar a nuestros modelos para que sean excelentes para explicar su razonamiento interno, pero al mismo tiempo conserven la capacidad de verificarlo ocasionalmente. La fidelidad al CoT es parte de una dirección de investigación más amplia, que es la capacitación para la interpretabilidad: establecer objetivos de una manera que entrene al menos a parte del sistema para que siga siendo honesto y monitoreable con escala. Continuamos aumentando nuestra inversión en esta investigación en OpenAI.