¿Qué se necesita para que una computadora aprenda las reglas del emparejamiento de bases de ARN? La gente está entrenando grandes modelos de lenguaje para la predicción de la estructura del ARN. Algunos de estos modelos tienen cientos de millones de parámetros. Un resultado inicial emocionante ha sido que estos modelos aprenden las reglas del emparejamiento de bases de Watson-Crick-Franklin directamente a partir de los datos. Un grupo de investigación de Harvard decidió ver cuál era el modelo más pequeño posible que pudiera lograr este resultado. Entrenaron un pequeño modelo probabilístico con solo 21 parámetros utilizando el descenso de gradiente. Con tan solo 50 secuencias de ARN, sin estructuras correspondientes, las reglas del emparejamiento de bases aparecerían después de solo unas pocas épocas de entrenamiento. Entonces, la respuesta a su pregunta original fue que se necesita "mucho menos de lo que piensas" para aprender este tipo de modelo. No creo que esto signifique que los esfuerzos de capacitación a gran escala sean necesariamente tontos o equivocados. Pero este resultado sugiere que hay mucha eficiencia y rendimiento que aún se puede obtener de la innovación arquitectónica. Hay mucha estructura subyacente en el lenguaje de la biología.