Kanał YouTube Andreja Karpathy'ego to darmowe centrum nauki o AI. Min Choi uporządkował jego filmy i wyjaśnił powody. Zaleca się zapisanie.

5. Budowanie Tokenizera GPT - podstawowe zasady BPE Dlaczego potrzebujemy tokenów, jak działa BPE i dlaczego całkowicie zmieniło to trening i wnioskowanie. Wybór tokenizera decyduje o rozmiarze słownika, efektywności kontekstu i stabilności treningu - przed skalowaniem należy to najpierw zrozumieć.