我們接下來應該做哪個模型？

對於OpenAI的新gpt-oss模型的訓練數據感到好奇嗎？我也是。 所以我從gpt-oss-20b生成了1000萬個示例，進行了一些分析，結果是……相當奇怪。 是時候深入探討了 🧵

GPT-5 的最簡短解釋：這正是擴展法則所預測的！ 模型變得更好，回報卻在減少，遺憾的是，絕對的通用智能改進將會越來越小。 好消息是，仍然有很多事情可以做。個性、推理、記憶和創造力仍然是未解決的問題。

提醒大家，SWEbench 的高分其實只是表示訓練數據中包含了足夠大比例的 Django。

GPT-5 最令人印象深刻的部分是長上下文的飛躍 你到底是怎麼做到的？ 產生一些奇怪的長距離合成數據？ 掃描大量書籍？

風險投資界提供了很多價值，但有時候感覺他們只是把錢燒掉了。 我知道的幾家初創公司三年前籌集了約1億美元來開發人工智慧，卻開發了沒有人使用的軟體，現在他們都在其他無關的地方工作。 那筆錢都去哪了？

在社交媒體時代，感覺每個人都在忙於 NeurIPS 的評論和反駁，但沒有人公開談論這件事，這真是奇怪。 我參與了三個反駁，其中一個讓我非常沮喪。 還有誰在忙於反駁？你們進展如何？

山姆·阿特曼想要建立一個在 Codeforces 上評分為 3200 的模型，但對於山姆·阿特曼是誰卻毫無頭緒。 我覺得這很美。

我花了幾個小時與 gpt-oss 交談，可以肯定地說，它與我測試過的任何模型都不同。 有時它為我編寫專業級的代碼，下一秒卻又在編造基本事實，無論我說什麼都堅持不懈。 有些非常奇怪的事情正在發生。

博士學位期間實踐的主要「思考循環」： - 確定問題空間中缺乏一致性的區域 - 撥出時間實際思考 - 產出具體的思考進展，這是你之前未曾意識到的 優化這個過程，變得強大