OpenAI a été clair sur le fait que les évaluations devraient "rendre les objectifs flous spécifiques et explicites", et que les évaluations de pointe doivent être associées à des évaluations contextuelles qui correspondent à de véritables flux de travail plutôt qu'à des terrains de jeu de prompts : Ce que @shyamalanadkat, Responsable des Évaluations Appliquées chez @OpenAI, décrit est le même cycle que nous voulons pour les agents de codage avec cline-bench : un ensemble d'or partagé de tâches de codage difficiles et réelles où les modèles ont eu des difficultés et où les humains ont dû intervenir, emballé sous forme d'environnements reproductibles afin que les laboratoires et les équipes puissent spécifier à quoi ressemble "l'excellence", mesurer la performance dans des conditions réelles et s'améliorer en apprenant de cas d'échec concrets : Si vous voulez le contexte complet sur la façon dont OpenAI pense aux évaluations, le document d'introduction est ici :