Em nossa última postagem no blog, mostramos como quebrar esquemas LLM que preservam a privacidade — decodificando estados de modelo permutados com precisão quase perfeita. Hoje, apresentamos a nossa defesa: Cascade 🕵️ ♂️✨

A Cascade assegura a inferência de LLM ao dividir estados ocultos entre partes através de "token sharding"—cada nó vê apenas alguns tokens em sequência. Quanto mais distantes estiverem os tokens de um nó, maior será o custo de um ataque—crescendo exponencialmente com a distância.

Cascade mantém total fidelidade na inferência — sem aproximações, sem matemática de ponto fixo. Ele divide a computação entre CompNodes (para MLPs) e AttnNodes (para atenção), preservando resultados exatos entre estágios distribuídos.

O ponto crucial do Cascade é um esquema de fragmentação de tokens que é robusto tanto para o nosso ataque de reconstrução quanto para ataques conhecidos baseados em aprendizado. Demonstramos no artigo que nossa abordagem, chamada c-δ sharding, alcança uma forte privacidade sem comprometer a fidelidade.

Realizamos experimentos extensivos sobre a segurança do Cascade contra ataques baseados em aprendizado. Embora não tenha as garantias formais do SMPC, demonstramos que, com nós suficientes, o Cascade é empiricamente robusto para esses ataques.

O benefício mais significativo do Cascade é a velocidade e escalabilidade. Comparado a esquemas SMPC existentes como o MPCFormer e o Puma, o Cascade é 2 ordens de magnitude mais rápido, mesmo na configuração mais segura que testámos (72 participantes):

A Cascade foi motivada pela necessidade de encontrar um novo paradigma no tradeoff entre privacidade, segurança e escalabilidade. Acreditamos que sua ideia central – fragmentação de tokens – atinge esse equilíbrio e abre uma nova direção para LLMs que preservam a privacidade.

Nosso trabalho tanto no ataque quanto no Cascade foi aceito no ICML 2025, e será apresentado no dia 16/07 às 16h30 PST no East Exhibition Hall A-B, Sala E-2612, no Centro de Convenções de Vancouver. Venha conversar connosco! 🔗

Venha juntar-se a nós para o Ritual social no ICML. Conheça nossa equipe de pesquisa de IA e criptomoedas, relaxe com ótimas pessoas e termine seu dia da maneira certa. É o Ritual perfeito. Registe-se aqui: