1/N Cieszę się, że mogę podzielić się informacją, że nasz najnowszy eksperymentalny model LLM @OpenAI osiągnął długo oczekiwane wyzwanie w AI: poziom złotego medalu w najbardziej prestiżowych zawodach matematycznych na świecie—Międzynarodowej Olimpiadzie Matematycznej (IMO).
2/N Oceniliśmy nasze modele na problemach IMO 2025 według tych samych zasad, co ludzie uczestnicy: dwie sesje egzaminacyjne po 4,5 godziny, bez narzędzi ani internetu, czytanie oficjalnych treści problemów i pisanie dowodów w języku naturalnym.
4/N Po drugie, zgłoszenia IMO są trudne do weryfikacji, wielostronicowe dowody. Postęp w tym zakresie wymaga wyjścia poza paradygmat RL z wyraźnymi, weryfikowalnymi nagrodami. Dzięki temu uzyskaliśmy model, który potrafi tworzyć skomplikowane, niepodważalne argumenty na poziomie ludzkich matematyków.
5/N Oprócz samego wyniku, cieszę się z naszego podejścia: osiągamy ten poziom zdolności nie poprzez wąską, specyficzną dla zadania metodologię, ale poprzez przełamywanie nowych granic w ogólnym uczeniu przez wzmocnienie i skalowaniu obliczeń w czasie testu.
6/N W naszej ocenie model rozwiązał 5 z 6 problemów na IMO 2025. Dla każdego problemu trzech byłych medalistów IMO niezależnie oceniło przedstawiony przez model dowód, a wyniki zostały sfinalizowane po jednogłośnym konsensusie. Model zdobył 35/42 punkty w sumie, co wystarczyło na złoto! 🥇
8/N Przy okazji, wkrótce wydajemy GPT-5 i jesteśmy podekscytowani, że będziesz mógł go wypróbować. Ale żeby było jasne: model IMO gold LLM to eksperymentalny model badawczy. Nie planujemy wydania niczego o takim poziomie zdolności matematycznych przez kilka miesięcy.
9/N Wciąż—podkreśla to, jak szybko AI rozwija się w ostatnich latach. W 2021 roku mój promotor na studiach doktoranckich @JacobSteinhardt kazał mi prognozować postępy AI w matematyce do lipca 2025 roku. Przewidziałem 30% w benchmarku MATH (i myślałem, że wszyscy inni są zbyt optymistyczni). Zamiast tego mamy złoto IMO.
11/N Na koniec chcielibyśmy pogratulować wszystkim uczestnikom 2025 IMO za ich osiągnięcie! Jesteśmy dumni, że mamy wielu byłych uczestników IMO w @OpenAI i uznajemy, że są to jedne z najjaśniejszych młodych umysłów przyszłości.
1,4M