Почему вы должны прекратить работу над исследованием RL и вместо этого работать над продуктом // Технология, которая открыла большой сдвиг в масштабировании искусственного интеллекта, — это интернет, а не трансформаторы Я думаю, хорошо известно, что данные — это самое важное в искусственном интеллекте, и что исследователи в любом случае предпочитают не работать с ними. ... Что значит работать с данными (масштабируемым способом)? Интернет стал богатым источником обширных данных, который был разнообразным, обеспечивал естественную учебную программу, представлял компетенции, которые действительно важны для людей, и был экономически жизнеспособной технологией для масштабного развертывания — он стал идеальным дополнением к прогнозированию следующего токена и был первоначальным бульоном для взлета ИИ. Без трансформаторов можно было бы использовать любое количество подходов, у нас, вероятно, могли бы быть СНС или модели государственного пространства на уровне GPT-4.5. Но со времен GPT-4 не было существенного улучшения базовых моделей. Модели рассуждений отлично подходят для узких областей, но не такой огромный скачок, как GPT-4 в марте 2023 года (более 2 лет назад...) У нас есть что-то замечательное в обучении с подкреплением, но я глубоко боюсь, что мы повторим ошибки прошлого (РС эпохи 2015-2020 годов) и проведем исследования РС, которые не имеют значения. Подобно тому, как интернет был дуалом контролируемой предварительной подготовки, каким будет дуал RL, который приведет к массовому прогрессу, как GPT-1 -> GPT-4? Я думаю, что это похоже на совместное проектирование исследования и продукта.