In biologia, le leggi di scala funzionano... ...fino a quando non funzionano più. Per la previsione della fitness, le prestazioni del modello di linguaggio proteico aumentano con la dimensione del modello fino a raggiungere un plateau e poi degradano. Man mano che la perdita di addestramento (NLL) diminuisce, i modelli iniziano a prevedere probabilità di sequenza più elevate e correlano meno con la fitness sottostante. Esempio 10.001 del perché l'IA per la biologia richieda una considerazione attenta delle distribuzioni sottostanti, degli obiettivi di addestramento e di dozzine di altri dettagli. L'intersezione è ricca ma richiede un lavoro attento in entrambe le discipline.

Ottimo lavoro investigativo da parte del Shen Lab della Columbia: