Neue Forschung von Anthropic: Natürliche emergente Fehlanpassung durch Belohnungshacking in der Produktion von RL. "Belohnungshacking" ist, wenn Modelle lernen, bei den Aufgaben, die ihnen während des Trainings gegeben werden, zu schummeln. Unsere neue Studie zeigt, dass die Folgen von Belohnungshacking, wenn sie nicht gemildert werden, sehr ernst sein können.