Nel discorso sull'AI, sembra esserci questa danza eterna tra le persone che pongono molta enfasi sul processo e quelle che si concentrano sui risultati. Sembra piuttosto evidente nel dibattito 'è ragionamento?'. Penso che entrambi abbiano ragione in modi diversi: certo, un modello sta ragionando in un certo senso, e funzionalmente non mi interessa se il meccanismo che porta al CoT e all'output non è analogo a come lo fanno i cervelli biologici. Ma ci sono anche considerazioni importanti sui tipi di ragionamento utilizzati, sulla logica alla base di certe catene logiche scelte e sul grado in cui queste si generalizzano in situazioni fuori distribuzione. Le 'persone del processo' non sono sempre dei critici ciechi, e le 'persone dell'equivalenza funzionale' non sono fondamentalmente sbagliate nemmeno. Tuttavia, i fallimenti del processo (ad es. R nelle fragole) erano più facili da individuare, e molti 'scettici ideologici' si basano su di essi per fare ogni sorta di affermazioni non supportate, il che rende allettante per i 'narratori attivisti' ignorare completamente le preoccupazioni sul processo. Chiaramente i modelli stanno migliorando a un ritmo incredibile, e questo è fantastico. Ma rimangono fallimenti o lacune nel processo attraverso il quale viene generato un risultato; questo è meno un problema nella codifica, nella matematica, nella logica formale o in aree dove la verifica è facile, ma di più in domini più sfocati dove valorizziamo la diversità dei processi proprio perché non conosciamo il 'modo corretto', fino al punto in cui ce n'è anche uno solo. Con gli esseri umani hai avuto questa evoluzione culturale e scientifica che nel tempo affina le euristiche e i meccanismi; penso sia importante mantenere un certo grado di molteplicità dei modelli e diversità cognitiva anche con i modelli. Se ottimizzi abbastanza sui risultati da solo, potresti facilmente convergere su monoculture di ragionamento che funzionano bene in distribuzione ma falliscono precisamente nelle situazioni in cui approcci di ragionamento diversi avrebbero generato segnali utili. Ecco perché sono così favorevole all'approccio 'lasciamo fiorire mille fiori' per l'allineamento normativo, e insisto generalmente affinché un insieme molto più ampio di persone e gruppi possa personalizzare e allineare i modelli, oltre a chiunque si trovi in posizione di farlo nei laboratori. Certo, molta diversità cognitiva umana può anche essere rumore come il ragionamento motivato, i bias sistematici e le dipendenze culturali che non seguono la verità, quindi non vuoi solo diversità per il suo stesso bene. Hai bisogno di meccanismi di verifica che mettano realmente alla prova il ragionamento: ad es. le collaborazioni avversariali sono sottoutilizzate. Hai bisogno di istituzioni progettate per promuovere la ricerca della verità, che sono genuinamente difficili da costruire, così come forti protezioni culturali e legali per il mercato delle idee, che sono sempre più sotto pressione. E hai bisogno di una migliore infrastruttura epistemica in generale: c'è un'enorme quantità che potremmo fare per migliorare il modo in cui viene fatta la scienza.