часто способность исследователя итеративно развивать возможность ограничена нашей способностью измерять эту возможность. Я действительно верю, что прогресс более ограничен оценками, чем люди думают. иногда оценки кажутся причинно-следственными. следовал ли SWE-Bench агентному кодированию, или агентное кодирование следовало за SWE-bench? мы часто слышим о решении действительно долгосрочных задач (недели, месяцы) или о необходимости непрерывного обучения для AGI и т. д. Но где оценки, чтобы доказать недостатки наших моделей в этом отношении? мне бы хотелось, чтобы больше людей работали над оценками, полностью соответствующими AGI, оценками, которые действительно отслеживают экономическую ценность и влияние, задачами на месяц и т. д.