En biología, las leyes de escalado funcionan... ...hasta que no lo hacen. Para la predicción de la aptitud, el rendimiento del modelo de lenguaje de proteínas aumenta con el tamaño del modelo hasta que se estabiliza y luego se degrada. A medida que la pérdida de entrenamiento (NLL) disminuye, los modelos comienzan a predecir mayores probabilidades de secuencia y correlacionan menos con la aptitud subyacente. Ejemplo 10,001 de por qué la IA para la biología requiere una cuidadosa consideración de las distribuciones subyacentes, los objetivos de entrenamiento y docenas de otros detalles. La intersección es rica, pero requiere un trabajo cuidadoso en ambas disciplinas.

Gran trabajo de detective del Shen Lab en Columbia: