「エージェントシステムのための小言語モデル」に関するこの魅力的な調査論文を読み終えたところです。 この調査では、小規模言語モデル(SLM、~1〜12Bパラメータ)はほとんどのエージェントタスクを処理できるのに対し、大規模LMはハードエッジケース用に予約されていると主張しています。 この単純な変化 = 実世界のエージェントにとって大幅な節約と大幅な遅延。 紙→

エージェントの仕事がオープンエンドの創造性であることはめったにありません。ツール呼び出し、構造化された出力、短いコードスニペット、決定論的なワークフローなど、SLMが行うために構築されているのは、推論の高速化、エネルギーの削減、トークンの安価さです。 一般的な関数呼び出しおよびスキーマ駆動型タスクの場合、SLM デフォルト アーキテクチャは、LLM のみのセットアップと比較してコストを約 10×〜30×削減します。エネルギーとレイテンシーの改善も同様に拡大します。

実用的なパターンは単純で、最初にSLMを実行し、厳密なJSON/CFGスキーマに対してその出力を検証し、信頼度と検証に合格した場合にのみ実行します。表示されていない場合は、LLM にエスカレーションするか、検証者修復ループを実行します。 ルーティングでは、logprobs や自己整合性などのプロキシと、タスク タグや予算ルールが使用されます。SLM の不確実性がしきい値を超えた場合は、検証ツールによる修正を試みるか、リクエストを LLM にルーティングして、コストのかかるフォールバック呼び出しの必要性を最小限に抑えます。

SLM by default + LLM-by-exception により、持続可能でスケーラブルでコスト効率の高いエージェントスタックが得られます。スキーマ、バリデーター、ルーター、および安価なアダプターにより、信頼性、速度、および大幅なコスト削減が可能になります。