SWE-benchの問題点:LLMレースが砂の上に構築されている理由 1) LLM の世界では、ベンチマークはスコアボードです。 企業は、投資家、ユーザー、一般の人々に、あたかも「知性」を表すかのように数字を提示します。 しかし、SWEベンチ検証された最も誇大宣伝されたベンチマークには、重大な欠陥があることが判明しました。 その理由👇を解き明かしましょう