In unserem letzten Blogbeitrag haben wir gezeigt, wie man LLM-Schemata unter Wahrung der Privatsphäre durchbrechen kann – indem man permutierte Modellzustände mit nahezu perfekter Genauigkeit dekodiert. Heute stellen wir unsere Verteidigung vor: Cascade 🕵️ ♂️✨

Cascade sichert die LLM-Inferenz, indem verborgene Zustände über "Token-Sharding" auf die Parteien aufgeteilt werden – jeder Knoten sieht nur wenige Token nacheinander. Je weiter die Token eines Knotens voneinander entfernt sind, desto höher sind die Kosten eines Angriffs, die mit der Entfernung exponentiell wachsen.

Cascade behält die volle Genauigkeit bei der Inferenz bei – keine Approximationen, keine Fixkomma-Mathematik. Es teilt die Berechnung zwischen CompNodes (für MLPs) und AttnNodes (zur Achtung) auf, wobei die exakten Ergebnisse über verteilte Stufen hinweg beibehalten werden.

Der Kern von Cascade ist ein Token-Sharding-Schema, das sowohl gegenüber unserem Rekonstruktionsangriff als auch gegenüber bekannten lernbasierten Angriffen robust ist. Wir zeigen in dem Papier, dass unser Ansatz, der als C-δ-Sharding bezeichnet wird, einen starken Datenschutz erreicht, ohne die Genauigkeit zu beeinträchtigen.

Wir führen umfangreiche Experimente zur Sicherheit von Cascade gegen lernbasierte Angriffe durch. Es fehlen zwar die formalen Garantien von SMPC, aber wir zeigen, dass Cascade mit genügend Knoten empirisch robust gegenüber diesen Angriffen ist.

Der wichtigste Vorteil von Cascade ist die Geschwindigkeit und Skalierbarkeit. Im Vergleich zu bestehenden SMPC-Systemen wie MPCFormer und Puma ist Cascade 2 Größenordnungen schneller, selbst die sicherste Einstellung, die wir getestet haben (72 Teilnehmer):

Cascade wurde durch die Notwendigkeit motiviert, ein neues Paradigma für den Kompromiss zwischen Datenschutz, Sicherheit und Skalierbarkeit zu finden. Wir glauben, dass die Kernidee – Token-Sharding – dieses Gleichgewicht findet und eine neue Richtung für LLMs eröffnet, die die Privatsphäre schützen.

Unsere Arbeit sowohl zum Angriff als auch zu Cascade wurde auf der ICML 2025 angenommen und wird am 16.07. um 16:30 Uhr PST in der East Exhibition Hall A-B, Raum E-2612, im Vancouver Convention Center vorgestellt. Kommen Sie und chatten Sie mit uns! 🔗

Kommen Sie zu uns zum Ritual Social at ICML. Lernen Sie unser KI- und Krypto-Forschungsteam kennen, entspannen Sie sich mit großartigen Menschen und beenden Sie Ihren Tag auf die richtige Weise. Es ist das perfekte Ritual. Melden Sie sich hier an: