Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Was braucht ein Computer, um die Regeln der RNA-Basenpaarung zu lernen?
Menschen trainieren große Sprachmodelle zur Vorhersage der RNA-Struktur. Einige dieser Modelle haben Hunderte von Millionen von Parametern.
Ein aufregendes frühes Ergebnis war, dass diese Modelle die Regeln der Watson-Crick-Franklin-Basenpaarung direkt aus den Daten lernen.
Eine Forschungsgruppe an der Harvard-Universität beschloss zu untersuchen, welches das kleinste mögliche Modell war, das dieses Ergebnis erzielen konnte.
Sie trainierten ein winziges probabilistisches Modell mit nur 21 Parametern unter Verwendung von Gradientenabstieg.
Mit so wenigen wie 50 RNA-Sequenzen – ohne entsprechende Strukturen – würden die Regeln der Basenpaarung nach nur wenigen Trainingsepochen herauskommen.
Die Antwort auf ihre ursprüngliche Frage war also, dass es "viel weniger als man denkt" braucht, um diesen Typ von Modell zu lernen.
Ich denke nicht, dass das bedeutet, dass die großangelegten Trainingsanstrengungen notwendigerweise dumm oder fehlgeleitet sind. Aber dieses Ergebnis deutet darauf hin, dass es noch viel Effizienz und Leistung gibt, die aus architektonischen Innovationen herausgeholt werden kann.
Es gibt eine Menge zugrunde liegender Struktur in der Sprache der Biologie.

3,24K
Top
Ranking
Favoriten