مبدأ التغطية: كيف يتيح التدريب المسبق التدريب اللاحق طبعة مسبقة جديدة حيث ننظر إلى الآليات التي ينتج من خلالها التنبؤ بالرمز المميز التالي نماذج تنجح في المهام النهائية. تتضمن الإجابة مقياسا نسميه "ملف تعريف التغطية" ، وليس الانتروبيا المتقاطعة.