Em biologia, as leis de escala funcionam... ... até que não o façam. Para previsão de aptidão, o desempenho do modelo de linguagem de proteínas aumenta com o tamanho do modelo até que ele se estabilize e depois se degrade. À medida que a perda de treinamento (NLL) diminui, os modelos começam a prever maiores probabilidades de sequência e se correlacionam menos com o condicionamento físico subjacente. Exemplo 10.001 de por que a IA para biologia requer uma consideração cuidadosa das distribuições subjacentes, objetivos de treinamento e dezenas de outros detalhes. A interseção é rica, mas requer um trabalho cuidadoso em ambas as disciplinas.

Ótimo trabalho de detetive do Shen Lab em Columbia: