В биологии законы масштабирования работают... ...пока не перестанут. Для предсказания фитнеса производительность языковой модели белка увеличивается с размером модели, пока не достигает плато, а затем не ухудшается. Когда потери при обучении (NLL) снижаются, модели начинают предсказывать более высокие вероятности последовательностей и менее коррелируют с основным фитнесом. Пример 10,001 того, почему ИИ для биологии требует тщательного рассмотрения основных распределений, целей обучения и десятков других деталей. Пересечение богато, но требует тщательной работы в обеих дисциплинах.

Отличная детективная работа лаборатории Шен в Колумбии: