Andrej Karpathy's YouTube-kanaal is een gratis AI-leercentrum. Min Choi heeft zijn video's gerangschikt en de redenen gegeven. Aanbevolen om op te slaan.

5. Het bouwen van de GPT Tokenizer - De kernprincipes van BPE Waarom tokens nodig zijn, hoe BPE werkt en waarom het de training en inferentie volledig heeft veranderd. De keuze van de Tokenizer bepaalt de grootte van de woordenschat, de contextuele efficiëntie en de stabiliteit van de training - dit moet eerst worden geleerd voordat de schaal wordt vergroot.