Neuer Blogbeitrag über Asymmetrie von Verifikation und "Verifier's Law": Die Asymmetrie der Verifizierung – die Idee, dass einige Aufgaben viel einfacher zu verifizieren als zu lösen sind – wird zu einer wichtigen Idee, da wir RL haben, das endlich allgemein funktioniert. Gute Beispiele für Asymmetrie der Verifizierung sind Dinge wie Sudoku-Rätsel, das Schreiben des Codes für eine Website wie Instagram und BrowseComp-Probleme (es werden ~100 Websites benötigt, um die Antwort zu finden, aber es ist einfach, sie zu überprüfen, sobald Sie die Antwort haben). Andere Aufgaben weisen eine nahezu symmetrische Verifizierung auf, z. B. das Summieren von zwei 900-stelligen Zahlen oder einige Datenverarbeitungsskripte. Bei anderen Aufgaben ist es viel einfacher, praktikable Lösungen vorzuschlagen, als sie zu überprüfen (z.B. einen langen Aufsatz zu überprüfen oder eine neue Diät wie "nur Bisons essen" anzugeben). Eine wichtige Sache, die Sie über die Asymmetrie der Verifizierung wissen sollten, ist, dass Sie die Asymmetrie verbessern können, indem Sie im Voraus einige Arbeiten durchführen. Zum Beispiel, wenn Sie den Antwortschlüssel für ein mathematisches Problem haben oder wenn Sie Testfälle für ein Leetcode-Problem haben. Dies erhöht die Anzahl der Probleme mit der wünschenswerten Verifikationsasymmetrie erheblich. Das "Verifier'sche Gesetz" besagt, dass die Leichtigkeit, mit der KI trainiert werden kann, um eine Aufgabe zu lösen, proportional dazu ist, wie überprüfbar die Aufgabe ist. Alle Aufgaben, die lösbar und leicht zu verifizieren sind, werden von der KI gelöst. Die Fähigkeit, KI so zu trainieren, dass sie eine Aufgabe löst, hängt davon ab, ob die Aufgabe die folgenden Eigenschaften hat: 1. Objektive Wahrheit: Alle sind sich einig, was gute Lösungen sind 2. Schnell zu überprüfen: Jede beliebige Lösung kann in wenigen Sekunden überprüft werden 3. Skalierbar zur Verifizierung: Viele Lösungen können gleichzeitig verifiziert werden 4. Geringes Rauschen: Die Verifizierung ist so eng wie möglich mit der Qualität der Lösung korreliert 5. Kontinuierliche Belohnung: Es ist einfach, die Güte vieler Lösungen für ein einzelnes Problem zu bewerten Eine offensichtliche Instanziierung des Verifizierergesetzes ist die Tatsache, dass die meisten in der KI vorgeschlagenen Benchmarks leicht zu verifizieren sind und bisher gelöst wurden. Beachten Sie, dass praktisch alle populären Benchmarks der letzten zehn Jahre die Kriterien #1-4 erfüllen; Benchmarks, die die Kriterien #1-4 nicht erfüllen, würden es schwer haben, populär zu werden. Warum ist Überprüfbarkeit so wichtig? Die Menge an Lernen, die in der KI stattfindet, wird maximiert, wenn die oben genannten Kriterien erfüllt sind; Sie können viele Gradientenschritte machen, wobei jeder Schritt viel Signal hat. Die Geschwindigkeit der Iteration ist entscheidend – sie ist der Grund, warum der Fortschritt in der digitalen Welt so viel schneller war als der Fortschritt in der physischen Welt. AlphaEvolve von Google ist eines der besten Beispiele für die Nutzung der Asymmetrie der Verifizierung. Es konzentriert sich auf Setups, die alle oben genannten Kriterien erfüllen, und hat zu einer Reihe von Fortschritten in der Mathematik und anderen Bereichen geführt. Anders als das, was wir in den letzten zwei Jahrzehnten in der KI gemacht haben, ist es ein neues Paradigma, da alle Probleme in einer Umgebung optimiert werden, in der der Zugsatz dem Testsatz entspricht. Die Asymmetrie der Verifikation ist allgegenwärtig, und es ist spannend, an eine Welt der zackigen Intelligenz zu denken, in der alles, was wir messen können, gelöst wird.