Vấn đề với SWE-bench: Tại sao cuộc đua LLM của chúng ta được xây dựng trên cát 1) Trong thế giới của LLM, các tiêu chuẩn là bảng điểm. Các công ty trình bày số liệu cho các nhà đầu tư, người dùng và công chúng như thể chúng đại diện cho "trí tuệ." Nhưng tiêu chuẩn được quảng bá nhiều nhất, được xác thực bởi SWE-bench, hóa ra lại có nhiều sai sót nghiêm trọng. Hãy cùng phân tích lý do tại sao 👇