hier sind die wichtigsten Punkte aus dem heutigen Podcast mit Ilya Sutskever: - Superintelligenz in 5-20 Jahren - Aktuelles Scaling wird stark stagnieren; wir sind zurück zu echter Forschung - Superintelligenz = super-schneller kontinuierlicher Lerner, kein fertiger Orakel - Modelle generalisieren 100x schlechter als Menschen, der größte AGI-Hindernis - Brauchen ein völlig neues ML-Paradigma (ich habe Ideen, kann ich gerade nicht teilen) - Die Auswirkungen von AI werden stark spürbar sein, aber erst nach wirtschaftlicher Diffusion - Durchbrüche benötigten historisch fast keine Rechenleistung - SSI hat genug fokussierte Forschungsrechenleistung, um zu gewinnen - Aktuelles RL benötigt bereits mehr Rechenleistung als das Pre-Training

Neue Forschung von Anthropic: Natürliche emergente Fehlanpassung durch Belohnungshacking in der Produktion von RL. "Belohnungshacking" ist, wenn Modelle lernen, bei den Aufgaben, die ihnen während des Trainings gegeben werden, zu schummeln. Unsere neue Studie zeigt, dass die Folgen von Belohnungshacking, wenn sie nicht gemildert werden, sehr ernst sein können.