W biologii prawa skalowania działają... ...dopóki nie przestają. W przypadku przewidywania sprawności, wydajność modelu językowego białek wzrasta wraz z rozmiarem modelu, aż osiągnie plateau, a następnie spada. Gdy strata treningowa (NLL) maleje, modele zaczynają przewidywać wyższe prawdopodobieństwa sekwencji i mniej korelują z podstawową sprawnością. Przykład 10 001, dlaczego AI w biologii wymaga starannego rozważenia podstawowych rozkładów, celów treningowych i dziesiątek innych szczegółów. Skrzyżowanie jest bogate, ale wymaga starannej pracy w obu dziedzinach.

Świetna praca detektywistyczna zespołu Shen w Columbia: