OpenAI har vært tydelig på at evalueringer skal «gjøre uklare mål spesifikke og eksplisitte», og at grensevurderinger må kombineres med kontekstuelle evalueringer som matcher reelle arbeidsflyter i stedet for prompt-lekeplasser: Det @shyamalanadkat, leder for Applied Evals @OpenAI, beskriver at det er den samme løkken vi ønsker for kodeagenter med cline-bench: et delt gyllent sett av vanskelige, virkelige kodeoppgaver hvor modeller slet og mennesker måtte gripe inn, pakket som reproduserbare miljøer slik at laboratorier og team kan spesifisere hvordan «fantastisk» ser ut, måle ytelse under reelle forhold, og forbedre ved å lære av konkrete feilsaker: Hvis du vil ha full kontekst om hvordan OpenAI tenker om evalueringer, er innføringen her: