Skoro agenci SI są niemal w realnym użyciu, skąd wiemy, co tak naprawdę potrafią? Wiarygodne testy porównawcze mają kluczowe znaczenie, ale testy agentów są zepsute! Przykład: WebArena oznacza "45 + 8 minut" w zadaniu obliczania czasu trwania jako poprawne (prawdziwa odpowiedź: "63 minuty"). Inne benchmarki błędnie szacują kompetencje agentów o 1,6-100%. Dlaczego podstawy oceny systemów agentowych są kruche? Zobacz poniżej wątek i linki 1/8