В нашей предыдущей статье в блоге мы показали, как сломать схемы LLM, сохраняющие конфиденциальность, — декодировать переставленные состояния модели с почти идеальной точностью. Сегодня мы представляем нашу защиту: Каскад 🕵️ ♂️✨

Cascade обеспечивает вывод LLM, разделяя скрытые состояния между сторонами с помощью «шардинга токенов» — каждый узел видит только несколько токенов подряд. Чем дальше друг от друга находятся фишки узла, тем выше стоимость атаки, которая растет экспоненциально с расстоянием.

Cascade сохраняет полную точность выводов — никаких приближений, никакой математики с фиксированной точкой. Он разделяет вычисления между CompNodes (для MLP) и AttnNodes (для внимания), сохраняя точные результаты на распределенных этапах.

Суть Cascade заключается в схеме сегментирования токенов, которая устойчива как к нашей атаке на реконструкцию, так и к известным атакам, основанным на обучении. В статье мы демонстрируем, что наш подход, называемый c-δ шардингом, обеспечивает высокую конфиденциальность без ущерба для точности.

Мы проводим обширные эксперименты по защите Cascade от атак, основанных на обучении. Несмотря на отсутствие формальных гарантий SMPC, мы демонстрируем, что при наличии достаточного количества узлов Cascade эмпирически устойчив к этим атакам.

Наиболее значительным преимуществом Cascade является скорость и масштабируемость. По сравнению с существующими SMPC-схемами типа MPCFormer и Puma, Cascade на 2 порядка быстрее, даже самую безопасную настройку мы тестировали (72 участника):

Компания Cascade была мотивирована необходимостью найти новую парадигму компромисса между конфиденциальностью, безопасностью и масштабируемостью. Мы считаем, что его основная идея — токен-шардинг — обеспечивает этот баланс и открывает новое направление для LLM, сохраняющих конфиденциальность.

Наша работа над атакой и каскадом была принята на ICML 2025 и будет представлена 16.07 в 16:30 по тихоокеанскому времени в Восточном выставочном зале A-B, комната E-2612, в Ванкуверском конференц-центре. Приходите и пообщайтесь с нами! 🔗

Присоединяйтесь к нам на ритуальном мероприятии в ICML. Познакомьтесь с нашей командой исследователей искусственного интеллекта и криптовалют, расслабьтесь с замечательными людьми и завершите свой день правильно. Это идеальный ритуал. Зарегистрироваться можно здесь: