Hãy nói về một dự án lưu trữ khác được phát triển bởi nhóm @SuiNetwork, @WalrusProtocol 🧐🧐 Mysten Labs, một công ty phát triển Sui, cũng đã phát triển một dự án lớp dữ liệu @WalrusProtocol. Walrus là một dự án lưu trữ dữ liệu và tính khả dụng của dữ liệu. Sau khi nghiên cứu xong, tôi có cảm giác - "tuyệt vời". Đây là dự án lưu trữ tốt nhất mà tôi từng thấy. Sau đây là văn bản, Có hai loại chính của các dự án lưu trữ phi tập trung. Loại đầu tiên sử dụng sao chép đầy đủ, trong đó dự phòng không hiệu quả được đánh đổi để bảo mật, trong đó mỗi nút lưu trữ một bản sao đầy đủ của dữ liệu, đại diện cho dự án @Filecoin Arweave. Loại thứ hai sử dụng phương pháp mã xóa Reed-Solomon để cắt và lưu dữ liệu gốc, đại diện cho các dự án @Storj, Sia, v.v. ———————————————————————————————— Giải thích mã xóa theo cách nói của con người Phương pháp lưu trữ của Mã xóa cần được giải thích, nói một cách chính xác, đó là chia tệp gốc thành các lát cắt gốc f + 1, tạo các mảnh sửa chữa bổ sung 2f, lưu một lát cắt khác nhau cho mỗi nút lưu trữ và bất kỳ lát cắt f + 1 nào cũng có thể xây dựng lại tệp gốc. Chà, bạn có thể bỏ qua cách diễn đạt không phải con người này và xem đoạn sau. Giả sử chúng ta muốn lưu 4 số quan trọng: [3, 7, 2, 5], và 4 số này là "lát cắt ban đầu" của chúng ta. Tiếp theo, chúng ta cần tạo thêm các lát cắt, Cố định các lát 1 = 3 + 7 + 2 + 5 = 17 Sửa chữa lát 2 = 3×1 + 7×2 + 2×3 + 5×4 = 47 Sửa chữa lát 3 = 3×1² + 7×2² + 2×3² + 5×4² = 131 Bây giờ chúng ta có 7 lát: [3, 7, 2, 5, 17, 47, 131], phải không. Giả sử hệ thống có 7 nút và chúng tôi phân phối chúng, Zhang San: 3 Li Si: 7 Các Vua 5:2 Zhao Liu: 5 Tiền 7:17 Con 8:47 Giăng 9:131 Giả sử Li Si, Zhao Liu và Zhou Jiu mất dữ liệu, chúng ta chỉ có: [3, _, 2, _, 17, 47, _]. Vậy làm thế nào để khôi phục dữ liệu gốc? Bạn có nhớ công thức cho các lát bổ sung không? Đúng vậy, hãy giải một phương trình tuyến tính nhị phân. 3 + X + 2 + Y = 17 3×1 + X×2 + 2×3 + Y×4 = 47 Kết quả là X=7, Y=5. Tất nhiên, đây chỉ là một ví dụ đơn giản. Bạn chỉ cần nhớ hiệu quả đạt được bởi mã xóa. Hiệu quả là miễn là hơn 1/3 số nút khỏe mạnh. Nói cách khác, trong hệ thống mã hóa xóa, các nút chỉ lưu trữ các lát cắt dữ liệu, miễn là hơn 1/3 số nút có thể hoạt động, dữ liệu có thể được khôi phục, nhưng cần có sự ổn định của nút vì chi phí thay thế cao. Tuy nhiên, trong một hệ thống được sao chép đầy đủ, phải có một nút đầy đủ để tải xuống tất cả các bản sao của dữ liệu. Cái trước hy sinh một phần bảo mật để đổi lấy chi phí thấp, trong khi cái sau đánh đổi sự dư thừa để bảo mật và ổn định hệ thống. ———————————————————————————————— Đổi mới mã xóa hai chiều (2D) của Walrus Cách tiếp cận của Walrus thực sự là đi đến nền tảng trung gian và đạt được sự cân bằng nhất định giữa cả hai. Lõi cũng sử dụng mã hóa xóa, nhưng nó tạo ra một công nghệ cải tiến Red Stuff trên công nghệ này. Red Stuff sử dụng một phương pháp mã hóa thông minh hơn để làm cứng dữ liệu. Bạn có nhớ ví dụ xóa mã trước đó không? Để lưu 4 số quan trọng: [3, 7, 2, 5], tạo thêm các lát cắt và cuối cùng là giải phương trình tuyến tính nhị phân. Một lần nữa, đây là một ví dụ để giải thích Red Stuff. Mã hóa Red Stuff là một thuật toán mã hóa hai chiều (2D) mà bạn có thể coi là "Sudoku". 3 7 25 trong mã Red Stuf trở thành, [3 7] [2 5] Giả sử quy tắc mã hóa là, Cột 3 = Cột 1 + Cột 2 Cột 4 = Cột 1×2 + Cột 2×2 Hàng 3 = Hàng 1 + Hàng 2 Hàng 4 = Hàng 1×2 + Hàng 2×2 Đây là lát cắt bổ sung trở thành [3 7 10 20] [2 5 7 14] [5 12 18 34] [10 24 34 68] Tiếp theo, chúng tôi phân phối chúng cho các nút trong hàng và cột, Trương 3: 3 7 10 20, tức là dòng đầu tiên Lee IV: 2 5 7 14, dòng 2 Các Vua 5:5, 12, 18, 34,... Zhao Liu: 10 24 35 68,... Tiền 7:3 2 5 10, cột 1 8 Chủ nhật: 7 5 12 24,... Giăng 9:10 7 18 34,... Zheng Shi: 20 14 34 68,... Giả sử Wang Wu mất dữ liệu, tức là dữ liệu ở dòng 3 bị mất. Trên thực tế, anh ta chỉ cần hỏi Zhang San ở hàng đầu tiên và Li Si ở hàng thứ hai, và yêu cầu họ lần lượt là số 10 và 7. Cùng một phương trình tuyến tính nhị phân được giải để có kết quả. Từ những ví dụ phổ biến nhưng không quá nghiêm ngặt ở trên, chúng ta có thể tóm tắt các đặc điểm của Red Stuff, Khi khôi phục dữ liệu, bạn không cần đầy đủ hàng hoặc cột, chỉ cần dữ liệu theo vị trí cụ thể. Đặc điểm này có thể được gọi là "địa phương". Ngoài ra, một số có thể được khôi phục từ hai chiều: hàng và cột, tức là "sử dụng lại thông tin". Thứ hai, đối với dữ liệu phức tạp, trước tiên bạn có thể khôi phục thứ nguyên "dễ dàng" và thuận tiện hơn để tính toán, sau đó sử dụng chiều khó tính toán dữ liệu được khôi phục, tức là "tính lũy tiến". Trong thực tế, giả sử một tệp được mã hóa dưới dạng 301 lát cắt theo kiến trúc mã xóa. Trong một hệ thống mã hóa xóa điển hình, cần 101 lát để khôi phục 1 lát cắt, nhưng trong Red Stuff, chỉ cần khoảng 200 ký hiệu riêng lẻ để khôi phục 1 cặp lát cắt. Giả sử một file 1GB được lưu trữ, hệ thống có 301 node, hệ thống mã xóa thông thường, sau khi node bị lỗi, cần tải xuống 1GB để khôi phục các slice, và Red Stuff, mỗi node lưu trữ: slice chính (3.3MB) + slice phụ (3.3MB) = 6.6MB. Chỉ có khoảng 10MB dữ liệu biểu tượng được tải xuống khi khôi phục, tiết kiệm 99% băng thông. Thiết kế này cho phép Walrus duy trì một mạng lưu trữ phi tập trung quy mô lớn với chi phí băng thông rất thấp, giảm chi phí khôi phục từ O(|blob|) sang O(|blob|/n). Đó là lý do tại sao Red Stuff được gọi là "tự chữa lành". Ngoài ra, Walrus bổ sung một số tính năng bảo mật, chẳng hạn như là giao thức đầu tiên hỗ trợ các thách thức lưu trữ trong mạng không đồng bộ. Cái gọi là "thách thức" ở đây tương tự như kiểm tra tại chỗ của cơ chế Optimistic về lưu trữ dữ liệu node. Red Stuff thêm các cam kết mật mã có thể xác minh cho mỗi lát cắt, mỗi biểu tượng có thể được xác minh độc lập, v.v. Để tóm tắt các đặc điểm, 1) Bảo mật không đồng bộ đầu tiên: giải quyết vấn đề tin cậy của lưu trữ phân tán cho các nút; 2) Tự xác minh: cơ chế chống hàng giả tích hợp; 3) Tiến bộ: Xử lý các thay đổi động trong các nút; 4) Có thể mở rộng: hỗ trợ hàng trăm đến hàng nghìn nút; để tìm ra sự cân bằng tốt nhất giữa an toàn và hiệu quả. (Trên đây là phần đầu tiên của bài viết này)