Ik heb zojuist dit fascinerende overzichtsartikel gelezen over "Kleine Taalmodellen voor Agentische Systemen". Dit overzicht stelt dat Kleine Taalmodellen (SLMs, ~1–12B parameters) de meeste agenttaken kunnen afhandelen, terwijl Grote Taalmodellen zijn gereserveerd voor de moeilijke randgevallen. Die eenvoudige verschuiving = enorme besparingen en veel betere latentie voor echte wereldagenten. Artikel →

Agentwerk is zelden open-eindige creativiteit. Het zijn toolaanroepen, gestructureerde outputs, korte codefragmenten en deterministische workflows, de dingen waarvoor SLM's zijn gebouwd: snellere inferentie, lagere energie en goedkopere tokens. Voor veelvoorkomende functie-aanroep- en schema-gedreven taken verlagen SLM-standaardarchitecturen de kosten met ongeveer 10×–30× in vergelijking met LLM-alleen opstellingen. Verbeteringen in energie en latentie schalen op een vergelijkbare manier.

Het praktische patroon is eenvoudig: voer eerst een SLM uit, valideer de output tegen strikte JSON/CFG-schema's, en voer alleen uit wanneer vertrouwen en validatie slagen. Zo niet, escaleer naar een LLM of voer een verifier-repair loop uit. Routing maakt gebruik van proxies zoals logprobs en zelfconsistentie, samen met taaklabels en budgetregels. Als de onzekerheid van de SLM een drempel overschrijdt, probeer dan verifier-fixes of route het verzoek naar een LLM, waarbij de noodzaak voor dure fallback-aanroepen wordt geminimaliseerd.

SLM-by-default + LLM-by-exception levert duurzame, schaalbare en kostenefficiënte agentstacks. Schema's, validators, routers en goedkope adapters bieden je betrouwbaarheid, snelheid en enorme kostenbesparingen.