Trong AI, dữ liệu được xử lý trong bộ nhớ thường là dễ bị tổn thương nhất. Dưới đây là cái nhìn tổng quan về cách mà @nvidia's Confidential Computing bảo vệ dữ liệu đang sử dụng để đảm bảo các tập dữ liệu nhạy cảm, trọng số mô hình và mã vẫn được bảo vệ trong quá trình đào tạo và suy diễn. Điều này rất quan trọng trong các môi trường không tin cậy, có quy định hoặc đa người thuê. 🧵👇

2/6: Khác với các phương pháp chỉ dựa vào phần mềm, NVIDIA triển khai bảo mật ở cấp độ phần cứng trong các GPU của mình. Điều này có nghĩa là mã hóa, cách ly và xác thực được tích hợp vào silicon, giảm thiểu rủi ro bị lộ ngay cả khi phần mềm hệ thống bị xâm phạm.

3/6: Nó hoạt động bằng cách dữ liệu được mã hóa trong bộ nhớ GPU và có thể giữ an toàn ngay cả khi di chuyển qua các kết nối NVLink thông qua đầu vào / đầu ra TEE với tốc độ gần như gốc. Điều này ngăn chặn việc truy cập trái phép từ các quy trình khác, hệ thống chủ, hoặc các tác nhân độc hại có quyền truy cập vật lý hoặc phần mềm.

4/6: Sự cách ly được đạt được thông qua khả năng phân vùng ở cấp phần cứng của NVIDIA, đặc biệt là công nghệ GPU Đa Phiên bản (MIG). MIG cho phép một GPU vật lý duy nhất được chia thành nhiều phiên bản hoàn toàn cách ly, mỗi phiên bản có tài nguyên tính toán, bộ nhớ và bộ đệm riêng. Trong chế độ tính toán bảo mật, các phiên bản này hoạt động như các vùng an toàn, đảm bảo rằng các khối lượng công việc chạy trên một phiên bản không thể đọc hoặc can thiệp vào các khối lượng công việc trên phiên bản khác. Mức độ cách ly này rất quan trọng cho các môi trường đa người thuê, chẳng hạn như triển khai đám mây, nơi nhiều khối lượng công việc của khách hàng chia sẻ cùng một phần cứng vật lý.

5/6: Chứng thực cung cấp bằng chứng mã hóa rằng GPU và firmware của nó đang ở trạng thái tin cậy, không bị can thiệp trước khi các khối lượng công việc bắt đầu thực thi. Dịch vụ chứng thực của NVIDIA xác minh rằng phần cứng là chính hãng, firmware của nó khớp với phiên bản được phê duyệt và nó đang hoạt động ở chế độ bảo mật. Điều này rất quan trọng trong các kiến trúc không tin cậy, vì nó cho phép các doanh nghiệp đảm bảo rằng các khối lượng công việc AI của họ chỉ được thực thi trong các môi trường an toàn, đã được xác minh. Chứng thực cũng hỗ trợ tuân thủ trong các ngành công nghiệp có quy định, nơi mà sự tin cậy của phần cứng có thể chứng minh là điều kiện tiên quyết để xử lý dữ liệu nhạy cảm.

6/6: Một trong những lợi thế lớn nhất của nó là bạn có thể kích hoạt bảo vệ khối lượng công việc mà không cần thay đổi mã ứng dụng! Đó chỉ là một thay đổi cấu hình—lý tưởng cho các pipeline AI doanh nghiệp nơi việc viết lại các mô hình sẽ tốn kém và gây gián đoạn. Đọc thêm ở đây: !