انتهيت للتو من قراءة ورقة المسح الرائعة هذه حول "نماذج اللغة الصغيرة للأنظمة الوكيلة". يجادل هذا الاستطلاع بأن نماذج اللغة الصغيرة (SLMs ، ~ 1-12B params) يمكنها التعامل مع معظم مهام الوكيل ، بينما يتم حجز LMs الكبيرة لحالات الحافة الصلبة. هذا التحول البسيط = مدخرات هائلة وزمن انتقال أفضل بكثير لوكلاء العالم الحقيقي. → الورق

نادرا ما يكون عمل الوكيل إبداعا مفتوحا. إنها استدعاءات الأدوات ، والمخرجات المنظمة ، ومقتطفات التعليمات البرمجية القصيرة ، ومهام سير العمل الحتمية ، والأشياء التي تم تصميم SLMs للقيام بها: استدلال أسرع ، وطاقة أقل ، ورموز أرخص. بالنسبة للمهام الشائعة لاستدعاء الوظائف والمهام المستندة إلى المخطط، تعمل البنى الافتراضية ل SLM على خفض التكاليف بحوالي 10×-30× مقارنة بإعدادات LLM فقط. وتحسينات الطاقة وزمن الوصول تتسع بالمثل.

النمط العملي بسيط: قم بتشغيل SLM أولا ، والتحقق من صحة مخرجاته مقابل مخططات JSON / CFG الصارمة ، والتنفيذ فقط عند مرور الثقة والتحقق من الصحة. إذا لم يكن الأمر كذلك، فقم بالتصعيد إلى LLM أو قم بتشغيل حلقة إصلاح المدقق. يستخدم التوجيه وكلاء مثل logprobs والاتساق الذاتي ، جنبا إلى جنب مع علامات المهام وقواعد الميزانية. إذا تجاوز عدم اليقين في SLM حتبة، فحاول المدقق إصلاح الطلب أو توجيهه إلى LLM، مما يقلل من الحاجة إلى مكالمات احتياطية باهظة الثمن.

ينتج عن SLM بشكل افتراضي + LLM-by-exception مجموعات وكلاء مستدامة وقابلة للتطوير وفعالة من حيث التكلفة. تمنحك المخططات والمدققين وأجهزة التوجيه والمحولات الرخيصة الموثوقية والسرعة ووفورات هائلة في التكاليف.