Ridículo que a OpenAI tenha reivindicado 74,9% no SWE-Bench apenas para provar que estavam acima dos 74,5% do Opus 4.1... Executando-o em 477 problemas em vez dos 500 completos. Seu cartão de sistema diz apenas 74% também.

Fonte:

E sim, eu sei que eles sempre relataram sobre o denominador 477, mas isso NÃO é "verificado pelo SWE-Bench", é uma métrica completamente diferente, é "o subconjunto da OpenAI do SWE Bench Verificado" e esse número não pode ser comparado.