另一个SOTA开源模型 👍 在355B参数（32B活跃MoE）下，它比我们见过的一些~1T模型要小一些。 据我所知，他们没有说明用于训练该模型的硬件，但他们使用了23T训练令牌。 如果我理解正确，阿里巴巴和腾讯都是这家位于北京的初创公司的投资者。