Um modelo de fundação de código aberto massivo, desbloqueado por @_xjdr XJDR é um cientista maluco, então levei algumas tentativas para entender direito, e ainda assim talvez eu não aprecie totalmente o resultado. Normalmente, se você quer treinar um modelo base novo do zero, precisa de muitas GPUs só para fazer um treino sério. É caro. Um dos tipos mais difíceis de treinar é o modelo DeepSeek Mix of Experts. É poderoso, mas o sistema de roteamento e a configuração de treinamento são tão delicados que testes em pequena escala frequentemente falham. Então você acaba precisando de um grande cluster só para aprender qualquer coisa, e quando uma run falha, você não consegue saber se sua ideia estava errada ou se a configuração simplesmente quebrou, então a pesquisa morre e você não aprende nada XJDR é o nmoe de código aberto, uma fábrica de treinamento pronta para rodar, conectada do jeito que um especialista faria, especificamente para que essa classe de modelos possa ser treinada e pesquisada em uma única máquina sem quebras constantes. Pequenos experimentos funcionam como um treinamento de verdade, então você pode conseguir um sim ou não limpo antes de gastar oito dígitos e meses de tempo. Na realidade, as pessoas podem rodar testes baratos e rápidos onde você muda uma coisa de cada vez, como como funcionam as rotas do modelo entre especialistas, como aprende (receita de treinamento), quais dados você fornece e como você extrai mais qualidade por dólar. Você basicamente está testando novas ideias para modelos base melhores, da mesma forma que testaria um produto/A/B, mas pode fazer isso fora de um laboratório grande. O impacto líquido é uma iteração mais rápida e grande economia de custos, além de mais equipes poderem realisticamente construir novos modelos de base. Isso pode significar um modelo melhor da classe DeepSeek, novos modelos de estilo profissional e mais competição e pesquisa aberta, pois a taxa de inscrição cai drasticamente e mais descobertas acontecem em público Fiquem ligados, ele está abrindo o código da maior parte disso! Parabéns @_xjdr. Estamos muito felizes em apoiá-lo e ser uma pequena parte da sua história