另一個SOTA開源模型 👍 在355B參數（32B活躍MoE）下，它比我們見過的一些~1T模型要小一些。 據我所知，他們沒有說明用於訓練該模型的硬體，但他們使用了23T訓練令牌。 如果我理解正確，阿里巴巴和騰訊都是這家位於北京的初創公司的投資者。