La chaîne YouTube d'Andrej Karpathy est un centre d'apprentissage gratuit sur l'IA. Min Choi a classé ses vidéos et a expliqué pourquoi. Je recommande de les enregistrer.

5. Construire le Tokenizer GPT - Principe de base du BPE Pourquoi avons-nous besoin de tokens, comment fonctionne le BPE, et pourquoi cela a-t-il complètement changé l'entraînement et l'inférence. Le choix du Tokenizer détermine la taille du vocabulaire, l'efficacité contextuelle et la stabilité de l'entraînement - il faut d'abord apprendre cela avant d'augmenter l'échelle.