En el discurso de la IA, parece haber una danza eterna entre quienes ponen mucho énfasis en el proceso y quienes se centran en los resultados. Parece bastante visible en el debate de '¿es razonamiento?'. Creo que ambos tienen razón en diferentes aspectos: por supuesto que un modelo es razonamiento en cierto sentido, y funcionalmente no me importa si el mecanismo que conduce al CoT y a la salida no es análogo a cómo lo hacen los cerebros biológicos. Pero también hay consideraciones importantes sobre los tipos de razonamiento utilizados, la justificación de ciertas cadenas lógicas elegidas y el grado en que estos se generalizan de forma robusta en situaciones fuera de distribución. Los 'expertos en procesos' no siempre son escépticos ciegos, y los de la 'equivalencia funcional' tampoco están fundamentalmente equivocados. Sin embargo, los fallos de proceso (por ejemplo, la R en las fresas) solían ser más fáciles de detectar, y muchos 'escépticos ideológicos' se apoyan en ellos para hacer todo tipo de afirmaciones sin fundamento, lo que hace que sea tentador para los 'activistas de la narrativa' descartar por completo las preocupaciones sobre el proceso. Está claro que los modelos están mejorando a un ritmo increíble, y esto es genial. Pero aún existen fallos o lagunas en el proceso por el cual se genera un resultado; Esto es menos un problema en programación, matemáticas, lógica formal o áreas donde la verificación es fácil, y más en ámbitos más difusos donde valoramos la diversidad de procesos precisamente porque no conocemos la 'forma correcta', en la medida en que siquiera hay una única. Con los humanos se produjo esta evolución cultural y científica que con el tiempo refina heurísticas y mecanismos; Creo que es importante que mantengamos un grado de multiplicidad de modelos y diversidad cognitiva con los modelos también. Si optimizas lo suficiente solo con los resultados, podrías converger fácilmente en monocultivos de razonamiento que funcionen bien en distribución pero fallen precisamente en las situaciones donde enfoques de razonamiento diversos habrían generado una señal útil. Por eso me interesa tanto el enfoque de 'dejar florecer mil flores' para la alineación normativa, y en general insisto en que un grupo mucho más amplio de personas y grupos debería poder personalizar y alinear modelos, más allá de quien esté en posición de hacerlo en los laboratorios. Por supuesto, mucha de la diversidad cognitiva humana también puede ser ruido, como el razonamiento motivado, los sesgos sistemáticos y las dependencias de caminos culturales que no siguen la verdad, así que no quieres diversidad solo por hacerlo. Se necesitan mecanismos de verificación que realmente pongan a prueba el razonamiento: por ejemplo, las colaboraciones adversariales están infrautilizadas. Se necesitan instituciones diseñadas para promover la búsqueda de la verdad, que son realmente difíciles de construir, así como fuertes protecciones culturales y legales para el mercado de ideas, que está cada vez más bajo presión. Y se necesita una mejor infraestructura epistémica en general: hay muchísimo que podríamos hacer para mejorar la forma en que se hace la ciencia.