Lapisan MoE bisa sangat lambat. Saat melatih model pengkodean kami @cursor_ai, mereka menghabiskan 27-53% waktu pelatihan. Jadi kami sepenuhnya membangunnya kembali di tingkat kernel dan beralih ke MXFP8. Hasilnya: lapisan MoE 3,5x lebih cepat dan percepatan pelatihan end-to-end 1,5x. Kami percaya tumpukan pelatihan MXFP8 MoE kami lebih cepat daripada alternatif sumber terbuka yang tersedia saat ini. Baca lebih lanjut di sini: