Nas últimas 2 semanas, 7 novas arquiteturas de modelo foram adicionadas ao MLX LM. Dessas 7, 6 são MoEs. Dessas 6 MoEs, 3 são modelos híbridos SSM / atenção. As arquiteturas mudam lentamente e depois de repente.