Har precis läst klart denna fascinerande översiktsartikel om "Small Language Models for Agentic Systems". Denna undersökning hävdar att små språkmodeller (SLM, ~1–12B params) kan hantera de flesta agentuppgifter, medan stora LM:er är reserverade för de hårda gränsfallen. Det enkla skiftet = enorma besparingar och mycket bättre latens för verkliga agenter. Papper →

Agentarbete är sällan öppen kreativitet. Det är verktygsanrop, strukturerade utdata, korta kodavsnitt och deterministiska arbetsflöden, de saker som SLM:er är byggda för att göra: snabbare slutsatsdragning, lägre energi och billigare tokens. För vanliga funktionsanrop och schemadrivna uppgifter minskar SLM-standardarkitekturer kostnaderna med ungefär 10×30 × jämfört med konfigurationer med endast LLM. Förbättringar av energi och svarstid skalas på samma sätt.

Det praktiska mönstret är enkelt: kör en SLM först, validera dess utdata mot strikta JSON/CFG-scheman och kör bara när konfidens och validering passerar. Om inte, eskalera till en LLM eller kör en verifierare-reparationsloop. Routning använder proxyservrar som logprobs och självkonsekvens, tillsammans med uppgiftstaggar och budgetregler. Om SLM-osäkerheten överskrider ett tröskelvärde kan du försöka åtgärda verifieringsåtgärder eller dirigera begäran till en LLM, vilket minimerar behovet av dyra reservanrop.

SLM som standard + LLM-efter undantag ger hållbara, skalbara och kostnadseffektiva agentstackar. Scheman, validerare, routrar och billiga adaptrar ger dig tillförlitlighet, hastighet och enorma kostnadsbesparingar.