As camadas MoE podem ser realmente lentas. Ao treinar nossos modelos de codificação @cursor_ai, elas consumiram de 27 a 53% do tempo de treinamento. Portanto, reconstruímos completamente a nível de kernel e fizemos a transição para MXFP8. O resultado: camada MoE 3,5x mais rápida e aceleração de 1,5x na velocidade de treinamento de ponta a ponta. Acreditamos que nossa pilha de treinamento MoE MXFP8 é mais rápida do que qualquer alternativa de código aberto disponível hoje. Leia mais aqui: