نموذج 👍 SOTA آخر مفتوح المصدر في معلمات 355B (32B MoE نشطة) ، يكون أصغر قليلا من بعض نماذج ~ 1T التي رأيناها. AFAIK لا يقولون ما هي الأجهزة التي تم استخدامها لتدريب هذا النموذج ، لكنهم استخدموا رموز تدريب 23T. IIUC كل من Alibaba و Tencent مستثمرون في شركة ناشئة في بكين.
Z.ai
Z.ai‏11 أغسطس، 11:43
تقديم التقرير الفني GLM-4.5! 👇 يوضح هذا العمل كيف طورنا نماذج تتفوق في التفكير والترميز والمهام الوكيلة من خلال نموذج تدريب فريد متعدد المراحل. تشمل الابتكارات الرئيسية تكرار نموذج الخبراء مع التقطير الذاتي لتوحيد القدرات ، ووضع التفكير الهجين لحل المشكلات الديناميكي ، ومنهج التعلم المعزز القائم على الصعوبة.
‏‎7‏K