Je suis désolé, mais la fenêtre de contexte de 1M semble bonne seulement sur le papier. En réalité, c'est plutôt comme une fenêtre de contexte de 400-500k. Ce 1M annoncé est le plus gros mensonge que j'ai vu. Le modèle se dégrade bien avant ce point -- il n'oublie pas, mais il commence à mal fonctionner complètement.