カバレッジの原則: 事前トレーニングがトレーニング後を可能にする方法 次のトークン予測が下流のタスクで成功するモデルを生成するメカニズムを調べる新しいプレプリント。 その答えには、クロスエントロピーではなく、「カバレッジプロファイル」と呼ばれる指標が含まれます。