## Эффективность на уровне человека необходима для AGI завершая замечательную поездку в 🇸🇬, где я смог пообщаться с @agihippo + увидел, как @jeffdean, @quocleix, @denny_zhou и другие представили обновления "Состояние GDM" 2025* по far #1 повторяющаяся тема в наших разговорах — это эффективность обучения. время вычислений вывода сейчас на пике популярности, но #efficiencyiscoming на подходе, и я обычно на 3-6 месяцев впереди большинства, когда у меня возникают такие чувства. люди часто удивляются, а затем в целом соглашаются, когда я провожу параллель между прорывом самообучающегося обучения и RLAIF и RLVR, что все это просто шаговые изменения в производительности, получаемой на один датапоинт, и следующий экспоненциальный скачок этой эффективности, очевидно, был тем, над чем Илья также работает в своем выступлении, упомянутом ниже + "гора" Ильи, которую он определил на NeurIPS. Я бы поставил деньги на то, что решение этого вопроса — это новый блок/абстракция, не основанная на трансформерах, которая не является "просто многими агентами" и больше похожа на тестирование в реальном времени и разрешение потенциальных гипотез мировых моделей, как вы решаете судоку или играете в Cluedo. это единственный систематический способ, который я знаю, чтобы свести к минимуму процесс обучения человека, где мы можем обучаться концепциям с 10-20 раз меньшим количеством датапоинтов на концепцию, чем текущие SOTA. Если бы я был исследователем, я бы начал с этого сейчас... и было бы очень иронично/круто, если бы это была окончательная победа @ylecun.
4,16K