S nadšením vydáváme nové repo: nanochat! (patří mezi nejpomatenější, které jsem napsal). Na rozdíl od mého dřívějšího podobného repo nanoGPT, které pokrývalo pouze předtrénování, je nanochat minimální, od nuly, full-stack trénovací/inferenční pipeline jednoduchého klonu ChatGPT v jediné kódové základně s minimální závislostí. Spustíte cloudový GPU box, spustíte jediný skript a za pouhé 4 hodiny později můžete mluvit se svým vlastním LLM ve webovém uživatelském rozhraní podobném ChatGPT. Váží ~8 000 řádků imo docela čistého kódu, aby: - Trénujte tokenizátor pomocí nové implementace Rust - Předtrénovat Transformer LLM na FineWebu, vyhodnotit CORE skóre v řadě metrik - Midtrain na konverzace s uživatelským asistentem ze SmolTalku, otázky s výběrem odpovědí, používání nástrojů. - SFT, vyhodnoťte model chatu na základě možnosti výběru z více možností (ARC-E/C, MMLU), matematiky (GSM8K), kódu (HumanEval) - RL model volitelně na GSM8K s "GRPO" - Efektivní odvozování modelu v Enginu s KV cache, jednoduché předvyplňování/dekódování, použití nástrojů (interpret Pythonu v odlehčeném pískovišti), mluvte s ním přes CLI nebo WebUI podobné ChatGPT. - Napište jednu markdown vysvědčení, které celou věc shrne a gamifikuje. I za cenu ~100 $ (~4 hodiny na uzlu 8XH100) můžete vytrénovat malý klon ChatGPT, se kterým můžete tak trochu mluvit a který dokáže psát příběhy/básně, odpovídat na jednoduché otázky. Přibližně ~12 hodin překonává metriku GPT-2 CORE. Jak se dále rozšiřujete směrem k ~ 1000 $ (~ 41,6 hodin školení), rychle se stává mnohem koherentnějším a dokáže řešit jednoduché matematické/kódové problémy a skládat testy s výběrem odpovědí. Např. model hloubky 30 trénovaný 24 hodin (to se přibližně rovná FLOPům GPT-3 Small 125M a 1/1000 GPT-3) se dostane do 40s na MMLU a 70s na ARC-Easy, 20s na GSM8K atd. Mým cílem je dostat celý "silný základní" stack do jednoho soudržného, minimálního, čitelného, hacknutelného a maximálně forkovatelného repozitáře. nanochat bude vrcholným projektem LLM101n (který je stále ve vývoji). Myslím, že má také potenciál vyrůst ve výzkumnou soustavu nebo benchmark, podobně jako předtím nanoGPT. V žádném případě to není dokončené, vyladěné nebo optimalizované (ve skutečnosti si myslím, že je tam pravděpodobně docela dost nízko visícího ovoce), ale myslím, že je to na místě, kde je celková kostra dostatečně v pořádku, aby mohla jít na GitHub, kde mohou být všechny její části vylepšeny. Odkaz na repo a podrobný návod na nanochat speedrun je v odpovědi.

Úložiště GitHub: Mnohem podrobnější a technický návod: Příklad konverzace se 4hodinovým nanochatem za 100 $ ve WebUI. Je to... Zábavné :) Větší modely (např. 12hodinová hloubka 26 nebo 24hodinová hloubka 30) se rychle stávají koherentnějšími.

A příklad některých souhrnných metrik vytvořených speedrunem 100 $ na kartě sestavy pro začátek. Současná kódová základna je něco málo přes 8000 řádků, ale snažil jsem se je udržet čisté a dobře okomentované. Teď přichází ta zábavná část - tuning a lezení do vrchu.