Trénink ve vysoké nadmořské výšce dělá LLM silnějším

Kdo by si nevyzkoušel výcvik klasifikátoru s MLX a Gemmou 3 270m za letu?

Gemma 3 270M (8 bitů) při ~200 tk/s na iPadu Air M3 s MLX

Ve 44 řádcích kódu máme skutečně užitečného agenta, který běží zcela lokálně, poháněný Qwen3 30B A3B Instruct

Nvidia Parakeet v3 je venku! Užijte si podporu Day 0 s Argmax SDK - Co se změnilo od verze 2? - Jak se používá? - Mám na tento model upgradovat hned? Odpovědi v komentářích

Gemma 3 270m 4-bit DWQ je v provozu. Stejná rychlost, stejná paměť, mnohem lepší kvalita:

Gemma 3 270m 4-bit generuje text rychlostí přes 650 (!) tok/sec na M4 Max s mlx-lm a využívá < 200MB: Nezrychlené:

Spouštění modelů optimalizovaných pro mlx je snadné 🙂

🚀Lokálně v MLX jsme zjednodušili spouštění Kokoro (TTS) a Parakeet (ASR) - bleskově rychlé na Macu a zábavné vyzkoušet: 🎙ASR + /mic (v terminálu) → zachytit náhodné myšlenky okamžitě, bez prohlížeče. 🗣TTS → poslouchat místní souhrny dokumentů a zpráv přirozeným hlasem, offline. Nebo soukromé hraní💓 rolí Chybí v populárních nástrojích jako Ollama/LMStudio. Nyní je to možné pomocí sady Nexa SDK.

MLX Swift GPT OSS~