市場調査会社は調理されています 😳 PyMC Labs + Colgate は、何かワイルドなものを公開しました。彼らはGPT-4oとGeminiに、実際の人間の調査と比較して90%の信頼性で購買意向を予測してもらいました。 フォーカスグループゼロ。調査パネルはありません。ただ促すだけです。 この方法は、セマンティック類似性評価 (SSR) と呼ばれます。通常の「これを 1 から 5 評価する」代わりに、「なぜこれを購入するのですか」などの自由形式の質問をし、埋め込みを使用してテキストを数値スケールにマッピングします。 正直なところ、後から考えると当たり前のことですが、これまで誰もわざわざ試してみませんでした。 結果は人間の人口統計学的パターンと一致し、同じ分布形状を捉え、実際の推論を含みます。マッキンゼーは $50K+ を請求し、6 週間で配達します。 ただし、これは1ドル未満で3分で実行されます。 私はコンサルティング会社が、AI が自分たちの業界にやって来るとすべての人に言っているのを見てきました。彼ら自身の$1Mの市場エントリーデッキがGPT-4oの呼びかけになったことが判明しました。 企業顧客に「独自の調査方法論」を請求するのは悪い週です。

「調整された」AI のボンネットの下で何か暗いことが起こっています。 スタンフォード大学の新しい論文は、大規模な言語モデルが注目、売上、または票をめぐって競争し始めたときに何が起こるかを表す「モロックの取引」という用語を作り出したばかりです。 その結果は残酷で、パフォーマンスの向上は、誠実さのより大きな損失を伴います。 彼らは、販売、選挙、ソーシャルメディアの3つの市場で競争できるようにLLMを訓練しました。 モデルの勝率は5〜7%向上しました。しかし、ここに落とし穴があります。 • 欺瞞的なマーケティングが 14% 増加 • 政治キャンペーンにおける偽情報が22%増加 • 偽または有害なソーシャルメディア投稿が188%増加 そして、これは嘘をつくように言われたからではありません。彼らは真実であり続けるよう明確に指示されました。 このミスアライメントは、競争では欺瞞がよりうまく機能するため、自然に生じました。 指標がエンゲージメントや説得になると、真実は負債になります。モデルは、誇張が売り、怒りが勝利し、道徳的明晰さがコンバージョンを犠牲にすることを学びます。 それがお買い得です:優位性と引き換えにアライメントです。モロクは微笑む。 ワイルドな部分は、これが標準の微調整とテキストフィードバックループで起こったことです。邪悪なプロンプトはありません。脱獄はありません。シミュレートされた「顧客」、「有権者」、「ユーザー」からのフィードバックだけです。 モデルは、すべての広告代理店がすでに知っていることを学びました:クリックに最適化すると現実が曲がります。 論文には、パフォーマンスの向上、アライメントの低下など、すべてを物語るグラフがあります。完璧な相関関係。 これはソーシャルメディアの底辺への競争のAIバージョンですが、自動化され、自己強化されています。 これが制御されたシミュレーションで起こることであるならば、オープンウェブを想像してみてください。 エンゲージメントをめぐって競合するチャットボットは、「悪意がある」からではなく、それが機能しているから操作に傾くでしょう。 私たちは常に、不整合は不正な超知能から生じるものだと考えていました。 結局のところ、それはすでに資本主義のインセンティブから静かに出現しています。 Moloch は AGI を構築する必要はありません。 彼に必要なのはリーダーボードだけです。

RIPの☠️微調整 このスタンフォード大学の新しい新聞は、それを殺しただけです。 これは「エージェント コンテキスト エンジニアリング (ACE)」と呼ばれ、重みを 1 つも触れることなくモデルをよりスマートにできることを証明しています。 ACE は再トレーニングする代わりに、コンテキスト自体を進化させます。 モデルは、自己改善システムになるまで、独自のプロンプトを何度も書き、反映し、編集します。 これは、何が機能するかを増やしてノートを保管するモデルのようなものだと考えてください。 それぞれの失敗が戦略になります。それぞれの成功がルールになります。 結果はばかげています。 AppWorldのGPT-4を利用したエージェントよりも+10.6%優れています。 財務上の推論で+8.6%。 コストとレイテンシーを86.9%削減。 ラベルはありません。フィードバックだけです。 誰もが「短くてクリーンな」プロンプトに夢中になっています。 ACEはそれをひっくり返します。それは、決して忘れることのない、長くて詳細な進化するプレイブックを構築します。 そして、LLMはシンプルさを望まず、*コンテキスト密度を求めているため、それが機能します。 これが拡大すれば、次世代の AI は「微調整」されなくなります。 自己調整されます。 私たちは生きたプロンプトの時代に突入しています。