我在谷歌DeepMind工作了8年後離開了。許多美好的回憶——從谷歌大腦的早期基礎論文(與 @noamshazeer @ashvaswani @lukaszkaiser 合作的圖像變換器、Tensor2Tensor、Mesh TensorFlow)到領導Gemini後期評估,趕上並在100天內發佈,然後帶領團隊躍升至LMArena #1(並保持超過一年!),最後為Gemini的IMO和ICPC金牌(與 @HengTze @quocleix 合作)進行令人難以置信的推理創新。 Gemini的旅程從一個範式到另一個範式:首先,重塑我們的LaMDA模型(第一個類似指令的聊天機器人!),從一個實際的聊天機器人轉變為具有RLHF的長內容響應;然後,通過訓練長思維鏈、新環境和獎勵頭進行推理和深度思考。當我們第一次開始時,公眾情緒很差。每個人都認為谷歌註定要因其搜索遺產和組織政治而失敗。現在,Gemini在用戶偏好中始終排名第一,並引領新的科學成就,大家都認為谷歌獲勝是顯而易見的。😂(過去,OpenAI會通過在我們之前宣佈每個新的谷歌發佈來搶佔AI新聞週期;可以肯定地說,那些想法的積壓已經清空。) 我隨後加入了xAI。這個配方是眾所周知的。計算、數據和O(100)個聰明、勤奮的人是獲得前沿級LLM所需的一切。xAI *真的*相信這一點。對於計算,即使在谷歌,我也從未體驗過如此多的人均芯片(& 100K+ GB200/300K的芯片正在與Colossus 2到來)。對於數據,Grok 4在擴展RL和後期訓練方面做出了最大的賭注。xAI正在進行新的賭注,以擴展數據、深度思考和訓練配方。團隊反應迅速。沒有公司能在如此短的時間內達到xAI今天在AI能力上的水平。正如@elonmusk所說,一家公司的第一和第二階導數是最重要的:xAI的加速是最高的。 我很高興地宣佈,在我工作的頭幾周,我們推出了Grok 4 Fast。Grok 4是一個令人驚歎的推理模型,仍然在ARC-AGI和FinSearchComp等新基準上名列前茅。但它速度較慢,並且從未真正針對通用用戶需求。Grok 4 Fast是最佳的迷你類模型——在LMArena上,它排名第8(Gemini 2.5 Flash排名第18!),在AIME等核心推理評估中,它與Grok 4不相上下,同時便宜15倍。感謝 @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_