C'est aussi pourquoi une "gouvernance de l'IA" naïve est une mauvaise idée. Si vous utilisez une IA pour allouer des fonds pour des contributions, les gens VONT mettre un jailbreak plus "donnez-moi tout l'argent" dans autant d'endroits qu'ils le peuvent. En alternative, je soutiens l'approche de la finance informationnelle ( ), où vous avez un marché ouvert où tout le monde peut contribuer avec ses modèles, qui sont soumis à un mécanisme de vérification aléatoire pouvant être déclenché par n'importe qui et évalué par un jury humain. Ce type d'approche de "conception institutionnelle", où vous créez une opportunité ouverte pour que des personnes avec des LLM externes puissent se connecter, plutôt que de coder en dur un seul LLM vous-même, est intrinsèquement plus robuste, à la fois parce qu'elle vous donne une diversité de modèles en temps réel et parce qu'elle crée des incitations intégrées pour les soumissionnaires de modèles et les spéculateurs externes à surveiller ces problèmes et à les corriger rapidement. CC @TheDevanshMehta