Cosa serve a un computer per apprendere le regole del pairing delle basi dell'RNA? Le persone stanno addestrando modelli di linguaggio di grandi dimensioni per la previsione della struttura dell'RNA. Alcuni di questi modelli hanno centinaia di milioni di parametri. Un risultato iniziale entusiasmante è stato che questi modelli apprendono le regole del pairing delle basi di Watson-Crick-Franklin direttamente dai dati. Un gruppo di ricerca ad Harvard ha deciso di vedere qual era il modello più piccolo possibile che potesse raggiungere questo risultato. Hanno addestrato un piccolo modello probabilistico con solo 21 parametri utilizzando la discesa del gradiente. Con appena 50 sequenze di RNA—senza strutture corrispondenti—le regole del pairing delle basi emergevano dopo solo pochi epoch di addestramento. Quindi la risposta alla loro domanda originale era che ci vuole "molto meno di quanto si possa pensare" per apprendere questo tipo di modello. Non penso che questo significhi che gli sforzi di addestramento su larga scala siano necessariamente stupidi o fuorviati. Ma questo risultato suggerisce che c'è molta efficienza e prestazioni che possono ancora essere estratte dall'innovazione architettonica. C'è molta struttura sottostante nel linguaggio della biologia.