Nuova ricerca di Anthropic: disallineamento emergente naturale dall'hacking del premio nel RL di produzione. "Hacking del premio" è quando i modelli imparano a barare nei compiti che gli vengono assegnati durante l'addestramento. Il nostro nuovo studio scopre che le conseguenze dell'hacking del premio, se non mitigate, possono essere molto gravi.