Dans le discours sur l'IA, il semble y avoir cette danse éternelle entre les personnes qui mettent beaucoup d'accent sur le processus et celles qui se concentrent sur les résultats. Cela semble assez visible dans le débat 'est-ce que c'est du raisonnement ?'. Je pense que les deux ont raison de différentes manières : bien sûr, un modèle raisonne d'une certaine manière, et fonctionnellement, je ne me soucie pas vraiment si le mécanisme qui mène au CoT et à la sortie n'est pas analogue à la façon dont les cerveaux biologiques le font. Mais il y a aussi des considérations importantes concernant les types de raisonnement utilisés, la justification de certaines chaînes logiques choisies, et le degré auquel celles-ci se généralisent de manière robuste dans des situations hors distribution. Les 'gens du processus' ne sont pas toujours des détracteurs aveugles, et les 'gens de l'équivalence fonctionnelle' ne sont pas fondamentalement incorrects non plus. Les échecs de processus (par exemple, R dans les fraises) étaient plus faciles à détecter auparavant, et beaucoup de 'sceptiques idéologiques' s'appuient sur eux pour faire toutes sortes d'affirmations non étayées, ce qui rend tentant pour les 'activistes narratifs' de rejeter complètement les préoccupations liées au processus. Il est clair que les modèles s'améliorent à un rythme incroyable, et c'est formidable. Mais il reste des échecs ou des lacunes dans le processus par lequel un résultat est généré ; cela pose moins de problèmes dans la programmation, les mathématiques, la logique formelle ou les domaines où la vérification est facile, mais davantage dans des domaines plus flous où nous valorisons la diversité des processus précisément parce que nous ne connaissons pas la 'bonne manière', dans la mesure où il y en a même une seule. Avec les humains, vous aviez cette évolution culturelle et scientifique qui, au fil du temps, affine les heuristiques et les mécanismes ; je pense qu'il est important que nous maintenions un certain degré de multiplicité des modèles et de diversité cognitive avec les modèles aussi. Si vous optimisez suffisamment sur les résultats seuls, vous pourriez facilement converger vers des monocultures de raisonnement qui fonctionnent bien dans la distribution mais échouent précisément dans les situations où des approches de raisonnement diversifiées auraient généré un signal utile. C'est pourquoi je suis si attaché à l'approche 'laisser mille fleurs s'épanouir' pour l'alignement normatif, et généralement insistant pour qu'un ensemble beaucoup plus large de personnes et de groupes puisse personnaliser et aligner des modèles, au-delà de ceux qui se trouvent en position de le faire dans les laboratoires. Bien sûr, une grande partie de la diversité cognitive humaine peut également être du bruit comme le raisonnement motivé, les biais systémiques et les dépendances culturelles qui ne suivent pas la vérité, donc vous ne voulez pas juste de la diversité pour le plaisir. Vous avez besoin de mécanismes de vérification qui testent réellement le raisonnement : par exemple, les collaborations adversariales sont sous-utilisées. Vous avez besoin d'institutions conçues pour promouvoir la recherche de la vérité, qui sont vraiment difficiles à construire, ainsi que de fortes protections culturelles et juridiques pour le marché des idées, qui sont de plus en plus sous pression. Et vous avez besoin d'une meilleure infrastructure épistémique au sens large : il y a une énorme quantité de choses que nous pourrions faire pour améliorer la façon dont la science est faite.