Неправильно. Основная проблема не в контроле. Дело в том, позволяет ли вселенная использовать мощные, трудно защищаемые технологии. Никакое количество работы по выравниванию систем не повлияет на это. Безопасность ИИ требует выравнивания мира в целом, а не только систем. Безопасность *не* является свойством системы. Эта точка очевидна, но, похоже, многими она воспринимается с сопротивлением. Я начал задумываться, не в том ли причина, что компании *хотят*, чтобы безопасность ИИ в основном была проблемой их систем. Но это просто не так.
Stephen McAleer
Stephen McAleer5 сент., 10:35
Масштабируемый контроль — это практически последняя большая исследовательская проблема. Как только вы получите неуязвимую функцию вознаграждения для чего угодно, вы сможете применять RL ко всему.
49,15K