Масштабне відкрите відкрите відкрите навчання базових моделей @_xjdr XJDR — божевільний науковець, тому мені знадобилося кілька спроб, щоб справді це зрозуміти, і я все одно можу не повністю оцінити результат. Зазвичай, якщо хочеш навчити нову базову модель з нуля, потрібно багато GPU, щоб серйозно запустити тренування. Це дорого. Одним із найскладніших для навчання є стиль DeepSeek Mix of Experts. Він потужний, але система маршрутизації та навчальна система настільки примхливі, що маломасштабні тести часто руйнуються. Тож тобі потрібен великий кластер, щоб чомусь навчитися, і коли прохід провалює, не можеш зрозуміти, чи була твоя ідея неправильною, чи система просто зламалася, і дослідження вмирають, і ти нічого не дізнаєшся XJDR — це відкритий NMOE, готовий до запуску навчальний завод, підключений так, як це зробив би експерт, спеціально для того, щоб цей клас моделей можна було навчати та досліджувати на одній машині без постійних поломок. Невеликі експерименти поводяться як справжнє тренування, тож можна отримати чисту відповідь «так» або «ні» перед тим, як витратити восьмизначну суму і кілька місяців. Насправді люди можуть запускати дешеві, швидкі пробні процеси, де змінюєш одну річ за раз, наприклад, як працює маршрутизація моделі між спеціалістами, як вона навчається (рецепт навчання), які дані подаєш і як ти отримуєш більше якості за кожен долар. Ви фактично тестуєте нові ідеї для кращих базових моделей так само, як A/B тестуєте продукт, але це можна робити поза великою лабораторією. Сумарний вплив — це швидша ітерація та суттєва економія коштів, плюс більше команд можуть реально створювати нові базові моделі. Це може означати кращу модель класу DeepSeek, нові спеціалізовані моделі та набагато більше конкуренції та відкритих досліджень, бо вступний внесок різко падає, а прориви відбуваються публічно Слідкуйте за оновленнями — він використовує більшість матеріалів з відкритим кодом! Вітаю @_xjdr. Ми дуже раді підтримати вас і стати невеликою частиною вашої історії