Представляем MCPMark, сотрудничество с @EvalSysOrg и @lobehub! Мы создали сложный бенчмарк для стресс-тестирования использования MCP в комплексных контекстах. - 127 высококачественных образцов данных, созданных экспертами. - GPT-5 занимает текущее лидерство и достигает Pass@1 в 46.96%, в то время как другие модели находятся в диапазоне 10-30%. - Разнообразные тестовые случаи на Notion, Github, файловой системе, Playwright (браузер) и Postgres. 9🧵s вперед