Varje fungerande teori om superintelligens måste respektera fysiska och informationsteoretiska gränser. Det finns mycket litteratur inom reglerteknik och dynamiska system som behandlar detta som verkar helt okänd för grupper som sysslar med ASI.

Det är osammanhängande att prata om planering, simulering, resonemang, rekursiv självförbättring etc. i abstrakt mening utan att hänvisa till konkreta fysiska, informationsmässiga och beräkningsmässiga gränser. Detta skulle dessutom vara ett mycket intressant forskningsprogram!

Även om du insisterar på att en ASI kommer att hitta "fuskkoder i verkligheten", kan vi åtminstone säga något om var dessa fuskkoder kan behöva hittas, veta något om konsekvenserna av att hitta dem och kunna leta efter dem i förväg.

Detta är inte menat som en callout, jag tror att det finns något riktigt intressant / viktigt här.

Harry Potter och metoderna för integrabla system