(以下のTRLトレーナーコード)言語モデル検索をどのように拡張しますか?言語モデルは、モデルをまったくトレーニングせずに、純粋にガイド付きリサンプリングだけでは解決できない新しい問題を解決するように導くことができますか?答えはある意味「はい」であることが判明しました。これは、トレーニング後の研究と安全性の研究に重要な意味を持ちます。

GLM-4.5テクニカルレポートを発表! 👇 この研究は、独自の多段階トレーニング パラダイムを通じて、推論、コーディング、エージェント タスクに優れたモデルをどのように開発したかを示しています。 主なイノベーションには、機能を統合するための自己蒸留によるエキスパート モデルの反復、動的な問題解決のためのハイブリッド推論モード、難易度ベースの強化学習カリキュラムなどがあります。

マスク:スティーブ、私がチームに問い続けている本当の質問は、今日のLLMがトレーニングディストリビューションを離れたときに推論できるかどうかです。 誰もが思考連鎖のプロンプトを引用しますが、それは単なる模倣である可能性があります。 スー:同感です。 最新のベンチマークによると、Grok4 レベルのモデルでさえ、ドメイン シフトを強制すると急激に劣化し、潜在的な空間は新しいモダリティにまたがっていません。 マスク:つまり、推論の失敗というよりは、カバレッジの問題なのでしょうか? スー:部分的には。 しかし、もっと深い問題があります。 トランスに内蔵されている唯一の誘導バイアスは連想パターンマッチングです。 プロンプトが本当に分散されていない場合 (たとえば、トークンがトレーニングで同時出現しなかったシンボリック パズルの場合)、モデルにはフォールバックする前の構造がありません。 文字通りコインを投げる。 マスク:しかし、合成タスクでは新たな「グルッキング」が見られます。 Zhongらは、誘導ヘッドが明示的に訓練されたことのないルールを作成できることを示しました。 それは推論のように思えませんか? Hsu: 作文は限られた一般化を買いますが、ルールは依然としてトレーニング文法の範囲にある必要があります。 セマンティクスを微調整すると、パズル内の演算子を 1 つ変更するとすぐに、精度は崩壊します。 それは確固たる推論ではありません。それは脆い補間です。 マスク氏:強化学習で解決できなかったのでしょうか? DRG-Sapphire は、7 B ベース モデルの上に GRPO を使用し、古典的な OOD タスクである臨床記録に医師グレードのコーディングを取得しました。 Hsu: 問題は、RL は、基本モデルが教師あり微調整によって十分なドメイン知識を取り込んだ後にのみ機能することです。 事前トレーニングコーパスがまばらな場合、RLだけでは頭打ちになります。 したがって、「推論」は依然として事前知識密度に寄生しています。 マスク:では、データとパラメータをスケーリングしても問題は解決しないということですか? 次のOODドメインがモデルを壊す壁にぶつかることはありませんか? Hsu:必ずしも壁ではなく、天井です。 経験的曲線は、一般化誤差がトレーニング例でほぼ対数的に減衰することを示唆しています。 これは、新しいテール分布ごとに指数関数的に多くのデータが必要になることを意味します。 ロケットエンジンの診断など、狭い分野では、やみくもにスケールアップするよりも、シンボリックな事前確率を焼き込む方が安価です。 マスク:ここで、神経シンボリックハイブリッドの話に戻ります。 LLM に検証済みの小さなソルバーへのアクセス権を付与し、分布が変化したときに呼び出しをオーケストレーションできるようにします。 スー:その通りです。 LLM は、OOD であることを認識し、特殊なモジュールに引き継ぐメタ コントローラーになります。 このアーキテクチャは、「1つの巨大な変圧器」の誤謬を回避します。 マスク: わかりました、xAI チームに、次の 1 兆トークンを追いかけるのをやめて、ルーティング レイヤーの構築を開始するように伝えます。 ありがとう、スティーブ。 スー:いつでも。 また、合成 OOD テスト ケースが必要な場合は、私の研究室には、すでに GPT-5 をだましているジェネレーターがあります。 リポジトリを送信します。 イーロンとのこの会話はAIが生成したものかもしれません。