Всего лишь с несколькими строками кода предложенное решение Фэна (@fengyao1909) — применение важностного отбора к политике поведения — решило проблему нестабильности обучения в моем случае (oat). Я верю, что этот результат может быть обобщен и для других RL-фреймворков. Отличная работа, Фэн!