Um modelo de treinamento de fundação de código aberto massivo desbloqueado por @_xjdr XJDR é um cientista maluco, então levei algumas tentativas para realmente entender, e ainda posso não apreciar totalmente o resultado inteiro. Normalmente, se você quiser treinar um novo modelo base do zero, precisa de uma tonelada de GPUs apenas para iniciar um treinamento sério. É caro. Um dos tipos mais difíceis de treinar é o design Mixture of Experts no estilo DeepSeek. É poderoso, mas o sistema de roteamento e a configuração de treinamento são tão delicados que testes em pequena escala frequentemente falham. Então você acaba precisando de um grande cluster apenas para aprender algo, e quando uma execução falha, você não consegue dizer se sua ideia estava errada ou se a configuração simplesmente quebrou, então a pesquisa morre e você não aprende nada. XJDR está open sourcing nmoe, uma fábrica de treinamento pronta para rodar, conectada da maneira que um especialista faria, especificamente para que essa classe de modelos possa ser treinada e pesquisada em uma única máquina sem quebras constantes. Pequenos experimentos se comportam como um treinamento real, então você pode obter um sim ou não limpo antes de gastar oito dígitos e meses de tempo. Na realidade, as pessoas podem realizar testes rápidos e baratos onde você muda uma coisa de cada vez, como como os roteamentos do modelo funcionam entre especialistas, como ele aprende (receita de treinamento), quais dados você alimenta e como você extrai mais qualidade por dólar. Você está basicamente testando novas ideias para melhores modelos base da mesma forma que você faria um teste A/B em um produto, mas pode fazer isso fora de um grande laboratório. O impacto líquido é uma iteração mais rápida e grandes economias de custo, além de mais equipes poderem realisticamente construir novos modelos de fundação. Isso pode significar um modelo da classe DeepSeek melhor, novos modelos no estilo especialista e muito mais competição e pesquisa aberta, porque a taxa de entrada cai drasticamente e mais das inovações acontecem em público. Fique atento, ele está open sourcing a maior parte disso! Parabéns @_xjdr. Estamos muito felizes em apoiá-lo e ser uma pequena parte da sua história.