私はここでのすべての頭字語と専門用語に少し迷ったので、頭字語を使わずにClaudeに説明してもらいましたが、今ですべてが完全に理にかなっています(tldr; 帯域幅⟹ シンプルさ): これは、大規模な言語モデルの大規模なトレーニングに関する興味深い技術的議論です。 核となる会話 Jingyuan Liu 氏は、TPU (Tensor Processing Units - Google の特殊な AI チップ) と GPU (グラフィックス プロセッシング ユニット - 通常は NVIDIA のチップ) を使用する場合に、特定の複雑な最適化技術が必要ないことを発見して驚きを表明しています。 主要な技術概念の説明: ハードウェアの種類: •GPU(グラフィックスプロセッシングユニット):元々はグラフィックス用に設計されましたが、現在はAIに多用されています。NVIDIA はこの市場を支配しています。 •TPU(Tensor Processing Unit):機械学習専用のGoogleのカスタム設計チップ。 並列処理戦略: 大規模な AI モデルをトレーニングする場合、作業を多くのチップに分割する必要があります。これを行うには、いくつかの方法があります。 1) データ並列処理 (DP): 各チップは、同じモデル コピーで異なるバッチのデータを処理します 2) テンソル並列処理 (TP): モデルの数学演算はチップ間で分割されます 3) パイプライン並列処理 (PP): モデルのさまざまなレイヤーがさまざまなチップに配置され、パイプラインが作成されます 議論されている技術的課題: 補助損失の問題: 非常に大規模なモデルをトレーニングする場合、勾配がネットワーク内をより適切に流れるように、中間層に「補助損失」(追加のトレーニング目標)を追加することがよくあります。PPVP (Pipeline Parallelism with Variable Partitioning) 制約では、次の理由でこれが複雑になります。 •「all f all b」(すべてのフォワードパス、次にすべてのバックワードパス)を実行する必要があります。 •これは、中間結果を保存する必要があるため、ピーク時のメモリ使用量では困難です DeepSeek の革新性: 彼らは、効果的にトレーニングしながら、これらの補助損失の必要性を明らかに回避する「補助フリー バイアス」設計を開発しました。 驚くべき啓示: 上級専門家はJingyuan氏に、K2またはDSV3スケールのTPU(これらは数百または数千のチップを備えたクラスター構成)を使用すると、パイプライン並列処理を使用せずに優れたMFU(モデルFLOP使用率-基本的にハードウェアをどれだけ効率的に使用しているか)を達成できると語った。 なぜこれが驚くべきことなのでしょうか? •パイプライン並列処理は、通常、大規模なトレーニングに不可欠であると考えられています •これは複雑な手法であり、慎重な最適化が必要です •それを回避できるため、すべてが大幅に簡素化されます ホレス・ヘの説明: 彼は、TPUでこれが可能な理由を次のように説明しています。 帯域幅の利点: TPU とハイエンド NVIDIA クラスター (NVL72 - NVLink 相互接続を備えた NVIDIA の最新の 72 GPU 構成など) は、チップ間の帯域幅が非常に高いため、パイプライン並列処理なしで通信要件を処理できます。 重要な洞察: •パイプライン並列処理は、主に「DP通信のボトルネック」がある場合に必要です(データ並列トレーニング中の通信速度によって制限されます) •十分な大きさのドメイン(相互接続されたクラスタ)に十分な帯域幅がある場合は、より単純な並列処理戦略を使用できます •これは「非常に長い間」機能します - 非常に大きなモデルでも限界に達することなくトレーニングできることを意味します 直感: 高速道路システムのようなものだと考えてください。 •従来のGPUクラスターは、都市間の道路が狭いようなものであるため、交通渋滞を回避するために複雑なルーティング(パイプライン並列処理)が必要です •TPUクラスターまたはNVLink接続GPUは、巨大なスーパーハイウェイのようなものです - 派手なルーティングなしですべてを直接送信できます パイプライン並列処理は実装、デバッグ、最適化が複雑であるため、これは大きな問題です。高効率を達成しながらそれを回避できるため、トレーニングプロセス全体がはるかにシンプルで信頼性が高くなります。 このディスカッションでは、ハードウェア相互接続技術 (チップ間の「道路」) の進歩が、効率的な AI トレーニングに必要なソフトウェア戦略をどのように根本的に変えることができるかを強調しています。

私はここでのすべての頭字語と専門用語に少し迷ったので、頭字語を使わずにClaudeに説明してもらいましたが、今ですべてが完全に理にかなっています(tldr; 帯域幅⟹ シンプルさ): これは、大規模な言語モデルの大規模なトレーニングに関する興味深い技術的議論です。 核となる会話 Jingyuan Liu 氏は、TPU (Tensor Processing Units - Google の特殊な AI チップ) と GPU (グラフィックス プロセッシング ユニット - 通常は NVIDIA のチップ) を使用する場合に、特定の複雑な最適化技術が必要ないことを発見して驚きを表明しています。 主要な技術概念の説明: ハードウェアの種類: •GPU(グラフィックスプロセッシングユニット):元々はグラフィックス用に設計されましたが、現在はAIに多用されています。NVIDIA はこの市場を支配しています。 •TPU(Tensor Processing Unit):機械学習専用のGoogleのカスタム設計チップ。 並列処理戦略: 大規模な AI モデルをトレーニングする場合、作業を多くのチップに分割する必要があります。これを行うには、いくつかの方法があります。 1データ並列処理(DP):各チップは、同じモデルコピーで異なるバッチのデータを処理します 2テンソル並列処理 (TP): モデルの数学演算はチップ間で分割されます 3パイプライン並列処理(PP):モデルの異なるレイヤーを異なるチップ上に配置し、パイプラインを作成します 議論されている技術的課題: 補助損失の問題: 非常に大規模なモデルをトレーニングする場合、勾配がネットワーク内をより適切に流れるように、中間層に「補助損失」(追加のトレーニング目標)を追加することがよくあります。PPVP (Pipeline Parallelism with Variable Partitioning) 制約では、次の理由でこれが複雑になります。 •「all f all b」(すべてのフォワードパス、次にすべてのバックワードパス)を実行する必要があります。 •これは、中間結果を保存する必要があるため、ピーク時のメモリ使用量では困難です DeepSeek の革新性: 彼らは、効果的にトレーニングしながら、これらの補助損失の必要性を明らかに回避する「補助フリー バイアス」設計を開発しました。 驚くべき啓示: 上級専門家はJingyuan氏に、K2またはDSV3スケールのTPU(これらは数百または数千のチップを備えたクラスター構成)を使用すると、パイプライン並列処理を使用せずに優れたMFU(モデルFLOP使用率-基本的にハードウェアをどれだけ効率的に使用しているか)を達成できると語った。 なぜこれが驚くべきことなのでしょうか? •パイプライン並列処理は、通常、大規模なトレーニングに不可欠であると考えられています •これは複雑な手法であり、慎重な最適化が必要です •それを回避できるため、すべてが大幅に簡素化されます ホレス・ヘの説明: 彼は、TPUでこれが可能な理由を次のように説明しています。 帯域幅の利点: TPU とハイエンド NVIDIA クラスター (NVL72 - NVLink 相互接続を備えた NVIDIA の最新の 72 GPU 構成など) は、チップ間の帯域幅が非常に高いため、パイプライン並列処理なしで通信要件を処理できます。 重要な洞察: •パイプライン並列処理は、主に「DP通信のボトルネック」がある場合に必要です(データ並列トレーニング中の通信速度によって制限されます) •十分な大きさのドメイン(相互接続されたクラスタ)に十分な帯域幅がある場合は、より単純な並列処理戦略を使用できます •これは「非常に長い間」機能します - 非常に大きなモデルでも限界に達することなくトレーニングできることを意味します 直感: 高速道路システムのようなものだと考えてください。 •従来のGPUクラスターは、都市間の道路が狭いようなものであるため、交通渋滞を回避するために複雑なルーティング(パイプライン並列処理)が必要です •TPUクラスターまたはNVLink接続GPUは、巨大なスーパーハイウェイのようなものです - 派手なルーティングなしですべてを直接送信できます パイプライン並列処理は実装、デバッグ、最適化が複雑であるため、これは大きな問題です。高効率を達成しながらそれを回避できるため、トレーニングプロセス全体がはるかにシンプルで信頼性が高くなります。 このディスカッションでは、ハードウェア相互接続技術 (チップ間の「道路」) の進歩が、効率的な AI トレーニングに必要なソフトウェア戦略をどのように根本的に変えることができるかを強調しています。

Codex や Claude Code のようなエージェントがゲームを効率的に制御し、状態と進行状況を監視できる Dwarf Fortress MCP サーバーをまだ誰も作っていないことに少し驚いています。 私自身は実際にプレイしたことがなく、10年ほど前にダウンロードして少しチェックしただけですが、それについて読むのは楽しかったです。 LLMがドワーフをどれだけ長く生き延び続けることができるかを確認するための非常に良いテストになるような気がします。 すべてのゲームは最終的にすべてのドワーフを死に至らしめるカスケード大惨事につながるため、それには自然な停止点があるはずであり、それが良いベンチマーク候補になります。少なくとも私の理解はそうです(プレイヤーのモットーは「負けるのは楽しい」です)。 このゲームをうまく行うには、ツール呼び出しの精度と持続的な長時間のタスクの一貫性に加えて、複雑なシステムのダイナミクスを監視および理解し、問題を予測して対処するタイムリーな介入を行う能力が必要です。 また、端末ネイティブであるため、マルチモーダルな画像処理を必要とせずに、通常のトークンを使用して効率的に送信および処理できるため、他のゲームよりもはるかに効率的です。 さらに、これについてトレーニングした AI ラボが (まだ!) ないこともご存知でしょう。

数分間待つ必要があるときに行う楽しいことは、携帯電話を使って、ランダムな分野や分野についてClaude Opusに次の質問をすることです。 「結晶学の核となる洞察または分析のトリックは何だと思いますか?」 結晶学を思いつく限りのものに置き換えてください。これまでのところ、私は試しました: QED;標準モデル;生化学;確率;進化論;などなど。 モデルに不可能なことを強制し、広大で複雑な分野を「1つの奇妙なトリック」に凝縮させることには、その分野で最も深く統一された原則を実際に探し、それを簡潔に表現することには何かがあります。 これは、実践者にとっては明らかなことですが、この主題に一時的な関心を持つほとんどの人には知られていない可能性が非常に高いです。 興味深いことに、同じプロンプトで「再試行」ボタンを繰り返し押すと、非常に異なる、通常は非常に魅力的な説明が得られることもあります。 私はすでにこれを行うことで多くのことを学びましたが、これは私が自主学習で遭遇した中で最高の「毎分理解」かもしれません。 なぜなら、それらは単なる楽しい事実やクールな豆知識ではないからです。それらは、構築によって、世界の膨大な量の理論と観察された現象を結びつけるアイデアを貫通し、統一しています。 Brilliant/KiwiCo のアニメーションと広告を含むさらに別の YouTube 説明ビデオを見るよりも、確かにはるかに高帯域幅です。それらに何か問題があるわけではありません。

最近、OpenAIから「人材流出」が起こり、この分野のリーダーとしての地位を確立できなくなったという考えは、GPT-5が「大失敗であり、モデルはそれほど優れておらず、非常に段階的である」という考えと同じくらい見当違いで間違っています。 GPT-5 Pro は、最も困難な現実世界のタスク (特に現在最も経済的に重要であるコーディング タスク) において、現在世界で最もスマートなモデルであるだけでなく、OpenAI の新しい codex cli ツールは信じられないほどうまく実行されています。 彼らは、コーディングcliツールで3位という遠い場所から、間違いなく現在最高のもの(私は今でもClaude Codeが好きで使用していることに注意してください、それはどちらか一方ではありません!)、Rustでプログラムされているため、圧倒的に最高のパフォーマンス、最小の遅延などを備えています。 そして今、このcliツールは、幻覚を最小限に抑えながら、最高のツール呼び出しの信頼性と最高のロングタスクの一貫性を備えた最高のコーディングモデルと組み合わされています。 そして言うまでもなく、同社の iOS アプリは、洗練さと機能の点で他のすべての AI アプリよりも劇的に優れています。Claudeアプリは、SafariサンドボックスのWebアプリにすぎません。そして、彼らのウェブアプリも今でも最高です。検索などは、他のアプリよりもうまく機能します。基本的なブロッキングとタックル。 そうです。イリヤやジョン・シュルマンのような非常に賢い人たちが他の会社に去った人もいます。しかし、彼らには信じられないほど優れた製品担当者と素晴らしいエンジニアリング能力を備えた、本当に素晴らしい技術チームがいます。 アルトマンに対する嫌悪感から、明白なことに目がくらまないようにしてください。さらに別の人がGPT-5がどれほど悪いかについて非難しているのを見るたびに、私はうんざりします、なぜなら、その人は証拠や理性に基づいて自分で考えることができないことを示しており、それが自分を賢く聞こえると思うからといって、意見を考えさせて(そしてそれをオンラインで吐き出す)ことをしているからです。

これらの小さなチップのそれぞれに 8 テラバイトの超高速ストレージが搭載されているのは、どれほどクールなことでしょうか?また、両方を青い筐体に接続して、USB 3.3 経由で 20 Gbps を実現できます (USB 4 ポートがなく、すべての pci-e スロットが GPU で占有されています) 私たちはこれほど豊かな時代に生きています。

GPT-5 Pro を使用して、高度な数学の新しいアプリケーションと AI のユースケースを組み合わせた画期的な理論を発見するプロセスを開始するという最近の 2 つのスレッドの更新として、11 のアイデアのそれぞれについて、Jax と Numpy を使用して Python でデモ実装をモデルに作成してもらいました。 次に、それらをプロジェクトにまとめて、それらを実行するための優れた CLI を追加し、コードが数学的に正しいかどうかを測定し、コードが必要な数学的特性を持っているかどうか、最後に、現在の標準的なアプローチと比較して何か有用なことをするかどうかをチェックする一連のエンドツーエンドのテストを行いました。 GPT-5 で codex CLI を使用して、すべてを統合し、バグを修正しました。プロジェクト全体の詳細なドキュメントと、プロセス中にモデルによって生成されたすべての出力を含む 11 のデモのそれぞれの記事を含むリポジトリにリンクします。

うわー、ようやくOpenAIのコーデックスCLI(Claude Codeに対する彼らの答え)の新しいバージョンを試すことができました。 前回、コーデックスを使用してみました(これはコーデックスとも呼ばれるホスト型コーディングエージェントとは異なり、非常に混乱していることに注意してください。私は今、ターミナルのマシン上でローカルに実行するツールについて話しています)、それはNodejs / Typescriptアプリとして書かれていましたが、本当に最悪でした。 - O4-mini などの弱いモデルや、紛らわしいことに Codex とも呼ばれる Codex などの弱いモデルしかアクセスできませんでした (本気で? - Claude Codeよりもはるかに悪いUI/UX - モデルが悪くなり、ツールが悪くなり、エージェントフローが悪くなった結果、コーディングがはるかに悪くなります。 - 煩わしいことに、すべての許可を与えることを強制されたため、常に子守をしなければならず、多くのものを並行して積極的に実行できないため、あまり役に立ちませんでした。 - しかし、それは良いことだったのかもしれません、なぜなら、圧倒的に最大の問題は、それが非常に無謀で破壊的なことをしたことだったからです。CCよりもはるかに無愛想でした。 それが最終的に私がすぐにそれをやめた理由です、それは最初に隠さずに "git reset --hard HEAD"を実行することに決めたので、私はいくつかの仕事を失いました。もう二度とない、と私は思った。 さて、私はついにGPT-5を使用し、APIキーの代わりに既存のGPT Proサブスクリプションを使用できるまったく新しいRustバージョンを試すことができましたが、これは非常に優れており、衝撃的です。 まず第一に、このようなインタラクティブ ツールに関しては、高速コンパイルされたコードに代わるものはありません。 錆びて書かれているという事実は、キーボード入力に遅延がまったくないことを意味しますし、また、このようなものでは100倍遅いインタープリタ言語で書かれているため、バックスペースが正しく機能せず、入力がぎこちなく遅れるCCのような奇妙なアーティファクトもありません。 絶え間ないラグやジャンクに対処するのは、遅いだけでなく、少なくともこれらのものを何時間も使用している私にとっては、精神的にも感情的にも負担がかかり、うんざりします。仕事をするためにツールに依存しているにもかかわらず、ツールを憎み、憤慨するのは恐ろしい感情です。 これにより、これらすべてのツールの水準が引き上げられ、AnthropicやGoogleなどにもrust(またはC ++、Zigなど)を使用するよう説得されることを心から願っています。 しかし、本当に大きな改善は明らかにモデルです。ツール呼び出しの信頼性が低く、より長いタスクで一貫性を失うより悪いモデルでは、Rustのきびきびとしたものはどれも気にする価値はありません。 しかし、ここで私をフォローしていれば、私はGPT-5 Thinkingのコーディング能力とツール呼び出し能力に畏敬の念を抱いていたことがわかるでしょう。 肝心なのは、この新しい Rust コーデックスが突然 CC の本当に手ごわい競争相手になったということであり、ぜひ試してみてください。 月額 200 ドルの GPT Pro サブスクリプションでどれだけの使用量を許容できるかを確認する必要がありますが、さらに数個購入する必要がある場合は、それだけの価値は十分にあります。 CCの使用をやめていないことに注意してください。私は両方を一緒に使うのが好きです。信じられないかもしれませんが、私はまだカーソルも使っています。 人々は、他のすべてのツールに取って代わる単一のツールを探すのをやめ、ツールごとに異なる長所と短所があることを受け入れるべきであり、絶え間ない使用から直感的にすべてを学ぶことで最良の結果を得ることができます。 とにかく、自分に好意を持って、今すぐ手に入れてください。最も簡単な方法は、このコマンドを実行することです(bun / npmを使用するのはどれほど混乱するかにもかかわらず、これによりrustバージョンが得られることに注意してください)。 bun i -g @openai/コーデックス

うわー、ようやくOpenAIのコーデックスCLI(Claude Codeに対する彼らの答え)の新しいバージョンを試すことができました。 前回、コーデックスを使用してみました(これはコーデックスとも呼ばれるホスト型コーディングエージェントとは異なり、非常に混乱していることに注意してください。私は今、ターミナルのマシン上でローカルに実行するツールについて話しています)、それはNodejs / Typescriptアプリとして書かれていましたが、本当に最悪でした。 - O4-mini などの弱いモデルや、紛らわしいことに Codex とも呼ばれる Codex などの弱いモデルしかアクセスできませんでした (本気で? - Claude Codeよりもはるかに悪いUI/UX - モデルが悪くなり、ツールが悪くなり、エージェントフローが悪くなった結果、コーディングがはるかに悪くなります。 - 煩わしいことに、すべての許可を与えることを強制されたため、常に子守をしなければならず、多くのものを並行して積極的に実行できないため、あまり役に立ちませんでした。 - しかし、それは良いことだったのかもしれません、なぜなら、圧倒的に最大の問題は、それが非常に無謀で破壊的なことをしたことだったからです。CCよりもはるかに無愛想でした。それが最終的に私がすぐにそれをやめた理由です、それは最初に隠さずに「リセット--ハードHEAD」を実行することに決めたので、私はいくつかの仕事を失いました。もう二度とない、と私は思った。 さて、私はついにGPT-5を使用し、APIキーの代わりに既存のGPT Proサブスクリプションを使用できるまったく新しいRustバージョンを試すことができましたが、これは非常に優れており、衝撃的です。 まず第一に、このようなインタラクティブ ツールに関しては、高速コンパイルされたコードに代わるものはありません。 錆びて書かれているという事実は、キーボード入力に遅延がまったくないことを意味しますし、また、このようなものでは100倍遅いインタープリタ言語で書かれているため、バックスペースが正しく機能せず、入力がぎこちなく遅れるCCのような奇妙なアーティファクトもありません。 絶え間ないラグやジャンクに対処するのは、遅いだけでなく、少なくともこれらのものを何時間も使用している私にとっては、精神的にも感情的にも負担がかかり、うんざりします。仕事をするためにツールに依存しているにもかかわらず、ツールを憎み、憤慨するのは恐ろしい感情です。 これにより、これらすべてのツールの水準が引き上げられ、AnthropicやGoogleなどにもrust(またはC ++、Zigなど)を使用するよう説得されることを心から願っています。 しかし、本当に大きな改善は明らかにモデルです。ツール呼び出しの信頼性が低く、より長いタスクで一貫性を失うより悪いモデルでは、Rustのきびきびとしたものはどれも気にする価値はありません。 しかし、ここで私をフォローしていれば、私はGPT-5 Thinkingのコーディング能力とツール呼び出し能力に畏敬の念を抱いていたことがわかるでしょう。 肝心なのは、この新しい Rust コーデックスが突然 CC の本当に手ごわい競争相手になったということであり、ぜひ試してみてください。 月額 200 ドルの GPT Pro サブスクリプションでどれだけの使用量を許容できるかを確認する必要がありますが、さらに数個購入する必要がある場合は、それだけの価値は十分にあります。 CCの使用をやめていないことに注意してください。私は両方を一緒に使うのが好きです。信じられないかもしれませんが、私はまだカーソルも使っています。 人々は、他のすべてのツールに取って代わる単一のツールを探すのをやめ、ツールごとに異なる長所と短所があることを受け入れるべきであり、絶え間ない使用から直感的にすべてを学ぶことで最良の結果を得ることができます。 とにかく、自分に好意を持って、今すぐ手に入れてください。最も簡単な方法は、このコマンドを実行することです(bun / npmを使用するのはどれほど混乱するかにもかかわらず、これによりrustバージョンが得られることに注意してください)。 bun i -g @openai/コーデックス

私は、現在最もスマートな AI モデルである GPT-5 Pro と Grok4 Heavy は、適切な種類の賢いプロンプトがあれば、重要な理論的および実践的な発見を考案し、開発するのに十分なほど賢く、数学と AI について十分な知識を持っていると確信しています。