Errado. O problema central não é o controle. É saber se o universo permite tecnologias poderosas e difíceis de defender. Nenhuma quantidade de trabalho de alinhamento de sistemas afetará isso. A segurança da IA requer alinhar o mundo em geral, não apenas os sistemas. A segurança *não* é uma propriedade do sistema. Este ponto é óbvio, mas parece ser resistido por muitos. Comecei a me perguntar se a razão é que as empresas *querem* que a segurança da IA seja principalmente um problema sobre seus sistemas. Mas simplesmente não é.
Stephen McAleer
Stephen McAleer5/09, 10:35
A supervisão escalável é praticamente o último grande problema de pesquisa que resta. Uma vez que você tenha uma função de recompensa inquebrável para qualquer coisa, então você pode aplicar RL em tudo.
49,14K