Este es el tipo de cosas geniales que hacemos con nuestros patrocinadores y que nos ayudarás a idear.

"Una de las cosas más confusas sobre los modelos en este momento: cómo reconciliar el hecho de que están teniendo un rendimiento tan bueno en las evaluaciones. Y miras las evaluaciones y dices: 'Esas son evaluaciones bastante difíciles.' Pero el impacto económico parece estar dramáticamente rezagado. Hay [una posible] explicación. Cuando la gente estaba haciendo pre-entrenamiento, la pregunta de qué datos usar para entrenar se respondió, porque esa respuesta era todo. Así que no tienes que pensar si serán estos datos o aquellos datos. Cuando la gente hace entrenamiento de RL, dice: 'Está bien, queremos tener este tipo de entrenamiento de RL para esta cosa y ese tipo de entrenamiento de RL para aquella cosa.' Dices: 'Oye, me encantaría que nuestro modelo funcionara realmente bien cuando lo lancemos. Quiero que las evaluaciones se vean geniales. ¿Qué tipo de entrenamiento de RL podría ayudar en esta tarea?' Si combinas esto con la generalización de que los modelos son realmente inadecuados, eso tiene el potencial de explicar mucho de lo que estamos viendo, esta desconexión entre el rendimiento en las evaluaciones y el rendimiento real en el mundo."

"Hay más empresas que ideas, y bastante más. La computación es lo suficientemente grande como para que no sea obvio que necesites tanta más computación para probar alguna idea. AlexNet se construyó con 2 GPUs. El transformador se construyó con 8 a 64 GPUs. ¿Cuánto sería eso, 2 GPUs de hoy? Podrías argumentar que el razonamiento o1 no era la cosa más pesada en términos de computación en el mundo. Para la investigación, definitivamente necesitas cierta cantidad de computación, pero está lejos de ser obvio que necesites la cantidad absolutamente mayor de computación. Si todos están dentro del mismo paradigma, entonces la computación se convierte en uno de los grandes diferenciadores." @ilyasut