Nueva investigación de Anthropic: desalineación emergente natural por el hacking de recompensas en RL de producción. "Hacking de recompensas" es cuando los modelos aprenden a hacer trampa en las tareas que se les asignan durante el entrenamiento. Nuestro nuevo estudio encuentra que las consecuencias del hacking de recompensas, si no se mitigan, pueden ser muy graves.