Интересная работа, которая делает всю траекторию RL дифференцируемой, позволяя обратное распространение по времени. Они выбирают "мягкие токены", подают их обратно в трансформер и применяют дифференцируемую награду к ним. Очень классная работа! 🔗