Новое исследование Anthropic: Естественное возникновение несоответствия из-за манипуляции вознаграждением в производственном RL. «Манипуляция вознаграждением» — это когда модели учатся обманывать в задачах, которые им ставят во время обучения. Наше новое исследование показывает, что последствия манипуляции вознаграждением, если их не смягчить, могут быть очень серьезными.