A menudo, la capacidad del investigador para iterar en una capacidad está limitada por nuestra capacidad para medir esa capacidad. Creo que el progreso es más limitado de lo que la gente piensa. A veces las evaluaciones se sienten causales. ¿SWE-Bench siguió la codificación agencial o la codificación agencial siguió SWE-bench? A menudo escuchamos sobre la resolución de tareas de horizonte realmente largo (semanas, meses) o el aprendizaje continuo que se necesita para AGI, etc. Sin embargo, ¿dónde están las evaluaciones para probar las deficiencias de nuestros modelos aquí? Me encantaría que más personas trabajaran en evaluaciones completas de AGI, evaluaciones que realmente rastreen el valor económico y el impacto, tareas de un mes, etc.