Estou extremamente entusiasmado com o potencial da fidelidade da cadeia de pensamento e da interpretabilidade. Isso influenciou significativamente o design de nossos modelos de raciocínio, começando com o1-preview. Como os sistemas de IA gastam mais computação trabalhando, por exemplo, em problemas de pesquisa de longo prazo, é fundamental que tenhamos alguma maneira de monitorar seu processo interno. A maravilhosa propriedade dos CoTs ocultos é que, embora eles comecem fundamentados na linguagem que podemos interpretar, o procedimento de otimização escalável não é contraditório à capacidade do observador de verificar a intenção do modelo - ao contrário, por exemplo, da supervisão direta com um modelo de recompensa. A tensão aqui é que, se os CoTs não foram escondidos por padrão, e vemos o processo como parte da saída da IA, há muito incentivo (e, em alguns casos, necessidade) para colocar supervisão sobre ele. Acredito que podemos trabalhar para o melhor dos dois mundos aqui - treinar nossos modelos para serem ótimos em explicar seu raciocínio interno, mas ao mesmo tempo ainda manter a capacidade de verificá-lo ocasionalmente. A fidelidade CdT faz parte de uma direção de pesquisa mais ampla, que é o treinamento para a interpretabilidade: definir objetivos de uma forma que treine pelo menos parte do sistema para permanecer honesto e monitorável com escala. Continuamos a aumentar o nosso investimento nesta investigação na OpenAI.