Jeden bilion tokenů denně. Je to hodně? "A když se podíváme úzce na počet tokenů obsluhovaných rozhraními API Foundry, v tomto čtvrtletí jsme zpracovali více než 100 tun tokenů, což je meziročně 5x více, včetně rekordních 50 t tokenů jen minulý měsíc." V dubnu společnost Microsoft sdílela statistiku, která odhalila, že jejich produkt Foundry zpracovává přibližně 1,7 tuny tokenů měsíčně. Včera Vipul sdílel, že zpracovává 2 t open-source inference denně. V červenci Google oznámil ohromující číslo: "Na I/O v květnu jsme oznámili, že jsme zpracovali 480 bilionů tokenů měsíčně na našich plochách. Od té doby jsme toto číslo zdvojnásobili a nyní zpracováváme více než 980 bilionů tokenů měsíčně, což je pozoruhodný nárůst." Google zpracuje 32,7 tuny denně, což je 16x více než Together a 574x více než v dubnovém objemu Microsoft Foundry. Z těchto čísel můžeme vyvodit několik hypotéz: 1. Odvození z otevřeného zdroje je jednociferný zlomek odvození. Není jasné, jaká část odvozovacích tokenů společnosti Google pochází z jejich modelů s otevřeným zdrojovým kódem, jako je Gemma. Pokud však předpokládáme, že Anthropic & OpenAI jsou 5t-10t tokenů denně a všechny jsou uzavřené, plus Azure je zhruba podobně velký, pak je open-source inference pravděpodobně kolem 1-3% celkové inference. 2. Agenti přicházejí brzy. Z údajů společnosti Microsoft vyplývá, že agenti v rámci GitHubu, Visual Studia, Copilot Studia a Microsoft Fabric přispívají k celkové inferenci AI v Azure méně než 1 %. 3. Vzhledem k tomu, že se očekává, že společnost Microsoft letos investuje 80 miliard dolarů ve srovnání s 85 miliardami dolarů společnosti Google do infrastruktury datových center s umělou inteligencí, měla by se pracovní zátěž každé společnosti v oblasti odvozování umělé inteligence výrazně zvýšit jak díky přechodu hardwaru na internet, tak díky vylepšením algoritmů. "Jen díky optimalizaci softwaru dodáváme pro stejný GPU o 90 % více tokenů ve srovnání se situací před rokem." Microsoft vymačkává ze svých GPU více digitální limonády a Google musí také dělat totéž. Kdy uvidíme zpracování prvních 10t nebo 50t AI tokenů denně? Teď už to nemůže být daleko. - Odhady z ničeho! - Google & Azure po 33t tokenech za den, Together & 5 dalších neocloudů po zhruba 2t tokenech za den, & Anthropic & OpenAI při 5t tokenech za den, nám dává 88t tokenů za den. Pokud předpokládáme, že 5 % tokenů Google pochází z modelů s otevřeným zdrojovým kódem, je to 1,65 tuny tokenů denně, což je zhruba 1,9 % z celkové inference. Opět velmi hrubá matematika