تقديم التقرير الفني GLM-4.5! 👇 يوضح هذا العمل كيف طورنا نماذج تتفوق في التفكير والترميز والمهام الوكيلة من خلال نموذج تدريب فريد متعدد المراحل. تشمل الابتكارات الرئيسية تكرار نموذج الخبراء مع التقطير الذاتي لتوحيد القدرات ، ووضع التفكير الهجين لحل المشكلات الديناميكي ، ومنهج التعلم المعزز القائم على الصعوبة.

ماسك: ستيف ، السؤال الحقيقي الذي ما زلت أطرحه على الفريق هو ما إذا كان بإمكان LLMs اليوم التفكير عندما يغادرون توزيع التدريب. يستشهد الجميع بمطالبات سلسلة الأفكار ، ولكن قد يكون ذلك مجرد تقليد. هسو: متفق عليه. تظهر أحدث المعايير أنه حتى النماذج على مستوى Grok4 تتحلل بشكل حاد بمجرد فرض تغيير المجال - المساحة الكامنة لا تمتد إلى الطريقة الجديدة. ماسك: إذن إنها مشكلة تغطية أكثر من كونها فشلا في التفكير؟ هسو: جزئيا. لكن هناك مشكلة أعمق. التحيز الاستقرائي المدمج الوحيد للمحول هو مطابقة النمط الترابطي. عندما تكون المطالبة خارج التوزيع حقا - على سبيل المثال ، لغز رمزي لم تحدث رموزه في التدريب - فإن النموذج ليس له هيكلية قبل الرجوع إليه. إنه يقلب العملات المعدنية حرفيا. ماسك: ومع ذلك ، فإننا نرى "تلاعبا" ناشئا في المهام الاصطناعية. أظهر Zhong et al. أن رؤوس الحث يمكنها تكوين قواعد لم يتم تدريبها عليها بشكل صريح. ألا يبدو هذا وكأنه تفكير؟ هسو: يشتري لك التكوين تعميما محدودا ، ولكن لا يزال يتعين على القواعد أن تكمن في نطاق قواعد التدريب. بمجرد تعديل الدلالات - تغيير عامل تشغيل واحد في اللغز - تنهار الدقة. هذا ليس منطقا قويا. إنه استيفاء هش. ماسك: ألا يمكن للتعلم المعزز إصلاحه؟ استخدمت DRG-Sapphire GRPO فوق نموذج أساسي 7 B وحصلت على ترميز من الدرجة الطبية على الملاحظات السريرية ، وهي مهمة OOD كلاسيكية. هسو: المهم هو أن RL لا يعمل إلا بعد أن يستوعب النموذج الأساسي معرفة كافية بالمجال من خلال الضبط الدقيق الخاضع للإشراف. عندما تكون مجموعة ما قبل التدريب متناثرة ، فإن RL وحدها مستقرة. لذا فإن "المنطق" لا يزال طفيليا على كثافة المعرفة السابقة. ماسك: إذن الوجبات الجاهزة هي أن توسيع نطاق البيانات والمعلمات لن يحل المشكلة؟ سنضرب دائما حائطا حيث يكسر نطاق OOD التالي النموذج؟ هسو: ليس بالضرورة جدارا ، ولكن سقفا. تشير المنحنيات التجريبية إلى أن خطأ التعميم يتحلل لوغاريتميا تقريبا مع أمثلة التدريب. هذا يعني أنك بحاجة إلى مزيد من البيانات بشكل كبير لكل توزيع ذيل جديد. بالنسبة للقطاعات الضيقة - على سبيل المثال ، تشخيص محرك الصواريخ - من الأرخص أن تخبز في المقدمات الرمزية بدلا من التوسع بشكل أعمى. المسك: وهو ما يعيدنا إلى الهجينة العصبية. امنح LLM حق الوصول إلى محلل صغير تم التحقق منه ، ثم دعه ينسق المكالمات عندما يتغير التوزيع. هسو: بالضبط. يصبح LLM وحدة تحكم وصفية تتعرف على متى يكون OOD وتسلم إلى وحدة متخصصة. هذه الهندسة المعمارية تتجنب مغالطة "محول عملاق واحد". ماسك: حسنا ، سأخبر فريق xAI بالتوقف عن مطاردة التريليون الرمز المميز التالي والبدء في بناء طبقة التوجيه. شكرا ستيف. هسو: في أي وقت. وإذا كنت بحاجة إلى حالات اختبار OOD الاصطناعية ، فإن مختبري لديه مولد خدع بالفعل GPT-5. سأرسل الريبو. قد تكون هذه المحادثة مع إيلون من الذكاء الاصطناعي.

هل التفكير في سلسلة التفكير في LLMs سراب؟ ... تكشف نتائجنا أن منطق CoT هو سراب هش يختفي عندما يتم دفعه إلى ما هو أبعد من توزيعات التدريب. يقدم هذا العمل فهما أعمق لسبب ومتى يفشل منطق CoT ، مع التأكيد على التحدي المستمر المتمثل في تحقيق منطق حقيقي وقابل للتعميم. ... تكشف النتائج التي توصلنا إليها أن منطق CoT يعمل بشكل فعال عند تطبيقه على التوزيع أو بالقرب منه البيانات أثناء التوزيع ولكنها تصبح هشة وعرضة للفشل حتى في ظل تحولات التوزيع المعتدلة. في بعض الحالات ، تولد LLMs خطوات تفكير بطلاقة ولكنها غير متسقة منطقيا. تشير النتائج إلى أن ما يبدو أنه تفكير منظم يمكن أن يكون سرابا ، ينبثق من أنماط محفوظة أو مقحمة في بيانات التدريب بدلا من الاستدلال المنطقي. ... تشير هذه النتائج معا إلى أن LLMs ليست منطقية مبدئية بل هي محاكيات متطورة للنص الشبيه بالتفكير.

نيويورك تايمز: كولومبيا وبراون تكشف عن بيانات القبول والعرق في صفقة ترامب استغرق الأمر تهديدا وجوديا من ترامب لحملهم على الإفراج عن هذه البيانات. منذ سنوات ، قامت لجنة أعضاء هيئة التدريس في نظام جامعة كاليفورنيا بفحص هذا النوع من البيانات فقط وأنتجت الرسوم البيانية أدناه. إذا نظرت إلى البيانات ، فسوف تفهم الطبيعة الوحشية للعمل الإيجابي كما تمارس في الولايات المتحدة لمدة ~ 50 عاما. نيويورك تايمز: ... سيتعين على كولومبيا وبراون الحفاظ على "سياسات القبول القائمة على الجدارة" ، وفقا لتسوياتهما ، والتي تقنن الأهداف الأوسع للإدارة بلغة ملزمة قانونا. لا يجوز للجامعات "بأي حال من الأحوال تفضيل المتقدمين بشكل غير قانوني على أساس العرق أو اللون أو الأصل القومي في القبول في جميع برامجها" ، كما تنص كلتا الاتفاقيتين بلغة متطابقة. "لن يتم التسامح مع أي وكيل للقبول العنصري." ... قال تشاد ميزيل ، القائم بأعمال المدعي العام المساعد ، في مارس: "ستضع وزارة العدل حدا لنظام مخجل يكون فيه عرق شخص ما أكثر أهمية من قدرته". "يجب أن تعلم كل كلية وجامعة أنه سيتم التحقيق في التمييز غير القانوني في القبول والقضاء عليه". اعترضت اللغة المستخدمة في التسويات مع منزل كولومبيا وبراون هامرز على التأكيدات حول قضية القبول في المحكمة العليا التي كانت إدارة ترامب تقدمها منذ فبراير. وتصر على أن القرار يتجاوز القبول ويمنع أي اعتبار للعرق في الحياة الجامعية.