مشكلة مقعد SWE: لماذا تم بناء سباق LLM لدينا على الرمال 1) في عالم LLMs ، المعايير هي لوحة النتائج. تقدم الشركات أرقاما للمستثمرين والمستخدمين والجمهور كما لو كانت تمثل "ذكاء". لكن تبين أن المعيار الأكثر إثارة للإعجاب الذي تم التحقق منه من قبل SWE معيب للغاية. دعنا نفك السبب 👇