剛讀完這篇有趣的調查論文《小型語言模型在代理系統中的應用》。 這篇調查論文主張，小型語言模型（SLMs，約1–12B參數）可以處理大多數代理任務，而大型語言模型則保留給難度較高的邊緣案例。 這一簡單的轉變 = 大幅節省成本，並為現實世界的代理提供更好的延遲。 論文 →

代理工作很少是無限創造力。這是工具調用、結構化輸出、短小的代碼片段和確定性工作流程，這些都是 SLMs 被設計來做的：更快的推理、更低的能耗和更便宜的代幣。 對於常見的函數調用和基於模式的任務，SLM 默認架構的成本比僅使用 LLM 的設置降低了大約 10 倍到 30 倍。能量和延遲的改進也以類似的方式擴展。

實際的模式很簡單：首先運行一個 SLM，根據嚴格的 JSON/CFG 架構驗證其輸出，只有在信心和驗證通過時才執行。如果不通過，則升級到 LLM 或運行驗證修復循環。 路由使用代理，例如 logprobs 和自我一致性，還有任務標籤和預算規則。如果 SLM 不確定性超過閾值，則嘗試驗證器修復或將請求路由到 LLM，最小化對昂貴的回退調用的需求。

SLM-預設 + LLM-例外產生可持續、可擴展且具成本效益的代理堆疊。架構、驗證器、路由器和廉價適配器為您提供可靠性、速度和巨大的成本節省。