別のSOTAオープンソースモデル 👍 355B パラメータ (32B アクティブ MoE) では、これまで見てきたいくつかの ~1T モデルよりも少し小さいです。 AFAIK このモデルのトレーニングにどのようなハードウェアが使用されたかは明らかにされていませんが、23T トレーニング トークンを使用しました。 IIUCはアリババとテンセントの両方が投資家であり、北京のスタートアップです。