次はどのモデルをすべきか?

OpenAI の新しい gpt-oss モデルのトレーニング データに興味がありますか?私もそうでした。 そこで、gpt-oss-20bから10Mの例を生成し、いくつかの分析を実行したところ、結果は...かなり奇妙です 深く掘り下げ🧵る時が来ました

GPT-5 の最短の説明: これはまさにスケーリングの法則が予測したものです。 モデルはより優れており、リターンは減少しており、悲しいことに、絶対的な一般的な知能の向上は小さくなるだけです 良いニュースは、やるべきことがまだたくさんあるということです。性格、推論、記憶力、創造性はまだ未解決の問題です

SWEbench での高いスコアは、実際にはトレーニング データに十分な割合の Django が含まれていることを示していることを皆さんに思い出させる良い機会です

GPT-5 の最も印象的な部分は、長いコンテキストでのジャンプです どうやってこれを行うのでしょうか? 奇妙な長距離合成データを生成しますか? たくさんの本をスキャンしますか?

VCの世界は多くの価値を提供しますが、時にはお金に火をつけただけのように感じることもあります。 私が知っているいくつかのスタートアップは、3 年前に AI を作るために合計 ~100M を調達し、誰も使用したことのないソフトウェアを構築しましたが、現在はすべて他の場所で無関係なことに取り組んでいます。 そのお金はどこに行ったのでしょうか?

ソーシャルメディアの時代には、誰もがNeurIPSのレビューや反論に取り組んでいるのに、誰もそれについて公に話していないと感じるのは奇妙です。 私は3つの反論に貢献しました。3人のうちの1人は非常にイライラしていました。 他に誰が反論に取り組んでいますか? どうですか?

Sam Altman は、CodeForces で 3200 と評価されているモデルを構築したいと考えていますが、Sam Altman が誰であるかはわかりません そして、それは美しいと思います

私は過去数時間GPT-OSSと話してきましたが、これは私がテストしたどのモデルとも異なると言っても過言ではありません ある瞬間はプロレベルでコーディングをし、次の瞬間には基本的な事実を作り上げ、私が何を言おうとそれにしがみつく とても奇妙なことが起こっています

博士課程中に実践された主な「思考サイクル」: - 一貫性に欠ける問題空間の領域を特定する - 実際に考える時間を確保する - 具体的な思考の進歩を遂げる」、これまで気づかなかったこと このプロセスを最適化して強力になります