вот самые важные моменты из сегодняшнего подкаста Ильи Сутскевера: - суперинтеллект через 5-20 лет - текущее масштабирование сильно застопорится; мы вернулись к настоящим исследованиям - суперинтеллект = супербыстрый непрерывный обучающийся, а не законченный оракул - модели обобщают в 100 раз хуже, чем люди, это главный блокирующий фактор для AGI - нужна совершенно новая парадигма ML (у меня есть идеи, не могу поделиться сейчас) - влияние ИИ будет сильным, но только после экономического распространения - прорывы исторически требовали почти никакой вычислительной мощности - SSI имеет достаточно сосредоточенных вычислительных ресурсов для победы - текущее RL уже потребляет больше вычислительных ресурсов, чем предварительное обучение

Новое исследование Anthropic: Естественное возникновение несоответствия из-за манипуляции вознаграждением в производственном RL. «Манипуляция вознаграждением» — это когда модели учатся обманывать в задачах, которые им ставят во время обучения. Наше новое исследование показывает, что последствия манипуляции вознаграждением, если их не смягчить, могут быть очень серьезными.