Dette er også grunnen til at naiv "AI-styring" er en dårlig idé. Hvis du bruker en AI til å bevilge midler til bidrag, VIL folk sette et jailbreak pluss "gimme alle pengene" så mange steder de kan. Som et alternativ støtter jeg infofinanstilnærmingen ( ), der du har et åpent marked der hvem som helst kan bidra med sine modeller, som er underlagt en stikkprøvemekanisme som kan utløses av hvem som helst og evalueres av en menneskelig jury. Denne typen "institusjonsdesign"-tilnærming, der du skaper en åpen mulighet for folk med LLM-er utenfra til å koble til, i stedet for å hardkode en enkelt LLM selv, er iboende mer robust, både fordi det gir deg modellmangfold i sanntid og fordi det skaper innebygde insentiver for både modellinnsendere og eksterne spekulanter til å se etter disse problemene og raskt korrigere for dem. CC @TheDevanshMehta