Masalah Dengan SWE-bench: Mengapa Perlombaan LLM Kami Dibangun di atas Pasir 1) Dalam dunia LLM, tolok ukur adalah papan skor. Perusahaan menyajikan angka kepada investor, pengguna, dan publik seolah-olah mereka mewakili "kecerdasan". Tetapi tolok ukur yang paling digembar-gemborkan yang diverifikasi oleh bangku SWE ternyata sangat cacat. Mari kita bongkar alasannya 👇