Enhver brukbar teori om superintelligens må respektere fysiske og informasjonsteoretiske grenser. Det er mye litteratur innen kontrollteori og dynamiske systemer som omhandler dette som virker helt ukjent for samfunn som er opptatt av ASI.

Det er usammenhengende å snakke om planlegging, simulering, resonnement, rekursiv selvforbedring etc. i det abstrakte uten å referere til konkrete fysiske, informasjonsmessige og beregningsmessige grenser. Dette ville være et veldig interessant forskningsprogram å starte opp!

Selv om du insisterer på at en ASI vil finne "juksekoder i virkeligheten", kan vi i det minste si noe om hvor disse juksekodene kanskje må finnes, vite noe om implikasjonene av å finne dem, og være i stand til å lete etter dem på forhånd.

Dette er ikke ment som en utrop, jeg tror det er noe veldig interessant/viktig her.

Harry Potter og metodene for integrerbare systemer