Ein Benchmark wie cline-bench funktioniert nur, wenn er vollständig offen ist. Jede Aufgabe stammt aus einem Open-Source-Repo, sodass jeder das Problem inspizieren, die Umgebung reproduzieren und Modelle sowie Agenten an derselben realen Ingenieurarbeit vergleichen kann. Das ist genau das, was für Menschen wie @b_roziere, Research Scientist bei @MistralAI, wichtig ist, die eine offene Infrastruktur wollen, die hilft, die Grenzen der Programmierfähigkeiten für alle zu erweitern.