Błędnie. Głównym problemem nie jest kontrola. Chodzi o to, czy wszechświat pozwala na potężne, trudne do obrony technologie. Żaden wysiłek związany z dostosowaniem systemu tego nie zmieni. Bezpieczeństwo AI wymaga dostosowania świata w ogóle, a nie tylko systemów. Bezpieczeństwo *nie* jest właściwością systemu. Ten punkt jest oczywisty, ale wydaje się, że wiele osób się z nim nie zgadza. Zaczynam się zastanawiać, czy powodem jest to, że firmy *chcą*, aby bezpieczeństwo AI było głównie problemem ich systemów. Ale to po prostu nie jest prawda.
Stephen McAleer
Stephen McAleer5 wrz, 10:35
Skalowalny nadzór to praktycznie ostatni duży problem badawczy, który pozostał. Gdy już uzyskasz niehakowalną funkcję nagrody dla czegokolwiek, wtedy możesz stosować RL na wszystkim.
49,15K