Поговорим о еще одном проекте хранения, разработанном командой @SuiNetwork, @WalrusProtocol 🧐🧐 Mysten Labs, компания-разработчик Sui, также разработала проект уровня данных @WalrusProtocol. Walrus — это проект, который занимается хранением и доступностью данных. После того, как я закончил исследования, у меня было ощущение - "потрясающе". Это лучший проект по хранению данных, который я когда-либо видел. Ниже приводится следующий текст: Существует две основные категории проектов децентрализованного хранения. Первый тип использует полную репликацию, где неэффективная избыточность обменивается на безопасность, где каждый узел хранит полную копию данных, представляя проект @Filecoin Arweave. Второй тип использует метод стираемого кода Рида-Соломона для среза и сохранения исходных данных, представляющих проекты @Storj, Sia и т. д. ———————————————————————————————— Объяснение кодов стирания на человеческом языке Метод хранения кодов стирания должен быть объяснен, строго говоря, он заключается в разделении исходного файла на оригинальные срезы f+1, создании дополнительных осколков для восстановления 2f, сохранении разных срезов для каждого узла хранения, и любой срез f+1 может восстановить исходный файл. Что ж, вы можете пропустить это нечеловеческое выражение и посмотреть на следующий абзац. Допустим, мы хотим сохранить 4 важных числа: [3, 7, 2, 5], и эти 4 числа являются нашими «исходными срезами». Далее нам нужно сгенерировать дополнительные срезы, Фиксируем ломтики 1 = 3 + 7 + 2 + 5 = 17 Ремонтный срез 2 = 3×1 + 7×2 + 2×3 + 5×4 = 47 Ремонтный срез 3 = 3×1² + 7×2² + 2×3² + 5×4² = 131 Теперь у нас есть 7 срезов: [3, 7, 2, 5, 17, 47, 131], справа. Допустим, в системе есть 7 узлов, и мы их распределяем, Чжан Сань: 3 года Ли Сы: 7 Царств 5:2 Чжао Лю: 5 лет Деньги 7:17 Сын 8:47 Иоанна 9:131 Предполагая, что Ли Сы, Чжао Лю и Чжоу Цзю теряют данные, мы имеем только: [3, _, 2, _, 17, 47, _]. Так как же восстановить исходные данные? Помните формулу для дополнительных ломтиков? Правильно, решите двоичное линейное уравнение. 3 + X + 2 + Y = 17 3×1 + X×2 + 2×3 + Y×4 = 47 В результате получается X=7, Y=5. Конечно, это всего лишь простой пример. Нужно только запомнить эффект, достигнутый с помощью стирающего кода. Эффект заключается в том, что до тех пор, пока более 1/3 узлов здоровы. Другими словами, в системе стирающего кодирования узлы хранят только срезы данных, пока может работать более 1/3 узлов, данные могут быть восстановлены, но требуется стабильность узла из-за высокой стоимости замены. Однако в полностью реплицированной системе должен быть полный узел для загрузки всех копий данных. Первый жертвует частью безопасности в обмен на низкую стоимость, в то время как второй обменивает избыточность на безопасность и стабильность системы. ———————————————————————————————— Инновационная технология двумерного (2D) стирающего кода Walrus Подход Моржа на самом деле заключается в том, чтобы найти золотую середину и достичь определенного баланса между ними. Ядро также использует стирающее кодирование, но оно создает улучшенную технологию Red Stuff на этой технологии. Red Stuff использует более умный метод кодирования для обмена данными. Помните предыдущий пример стирания кодов? Чтобы сохранить 4 важных числа: [3, 7, 2, 5], сгенерируйте дополнительные срезы и, наконец, решите двоичное линейное уравнение. Опять же, это пример для объяснения Red Stuff. Кодирование Red Stuff — это двумерный (2D) алгоритм кодирования, который можно назвать «судоку». 3 7 25 в Red Stuf код становится, [3 7] [2 5] Предположим, что правило кодирования выглядит следующим образом: Столбец 3 = столбец 1 + столбец 2 Колонка 4 = колонка 1×2 + колонка 2×2 Ряд 3 = Ряд 1 + Ряд 2 Строка 4 = Строка 1×2 + Строка 2×2 Вот таким лишним ломтиком становится [3 7 10 20] [2 5 7 14] [5 12 18 34] [10 24 34 68] Далее распределяем их по узлам в строках и столбцах, Чжан 3: 3 7 10 20, то есть первая строка Ли IV: 2 5 7 14, строка 2 Царств 5:5, 12, 18, 34,... Чжао Лю: 10 24 35 68,... Деньги 7:3 2 5 10, колонка 1 8 вс: 7 5 12 24,... ИН 9:10 7 18 34,... Чжэн Ши: 20 14 34 68,... Предположим, что Ван Ву теряет данные, то есть данные в строке 3 теряются. На самом деле, ему нужно только спросить Чжан Саня в первом ряду и Ли Си во втором ряду, и попросить у них числа 10 и 7 соответственно. Для получения результата решается то же двоичное линейное уравнение. Из приведенных выше популярных, но не столь строгих примеров можно подытожить характеристики Red Stuff: При восстановлении данных вам не нужны целые строки или столбцы, а только данные о местоположении. Эту характеристику можно назвать «локальностью». Кроме того, число может быть восстановлено из двух измерений: строк и столбцов, то есть «повторного использования информации». Во-вторых, для сложных данных можно сначала восстановить размерность, которую более «легко» и удобно рассчитывать, а затем использовать размерность сложности при вычислении восстановленных данных, то есть «прогрессивность». На практике предположим, что файл закодирован как 301 срез в соответствии с архитектурой кода стирания. В типичной системе стирающего кодирования требуется 101 срез для восстановления 1 среза, но в Red Stuff требуется всего около 200 отдельных символов для восстановления 1 пары срезов. Предполагая, что хранится файл размером 1 ГБ, система имеет 301 узел, обычная система кода стирания, после отказа узла, должна загрузить 1 ГБ для восстановления срезов, и Red Stuff, каждый узел сохраняет: первичный срез (3,3 МБ) + вторичный слайс (3,3 МБ) = 6,6 МБ. При восстановлении загружается только около 10 МБ символических данных, что экономит 99% пропускной способности. Такая конструкция позволяет Walrus поддерживать крупномасштабную децентрализованную сеть хранения данных с очень низкими затратами на пропускную способность, снижая затраты на восстановление с O(|blob|) до O(|blob|/n). Вот почему Red Stuff называют «самовосстанавливающимся». Кроме того, Walrus добавляет ряд функций безопасности, таких как то, что он является первым протоколом, поддерживающим проблемы хранения данных в асинхронных сетях. Так называемый «челлендж» здесь похож на выборочную проверку хранилища данных узла механизмом Optimistic. Red Stuff добавляет проверяемые криптографические обязательства к каждому срезу, каждый символ может быть независимо проверен и так далее. Если подытожить характеристики, то 1) Первая асинхронная безопасность: решает проблему доверия распределенного хранения к узлам; 2) Самопроверка: встроенный механизм защиты от контрафакта; 3) Прогрессивный: обрабатывает динамические изменения в узлах; 4) Масштабируемость: поддерживает от сотен до тысяч узлов; найти наилучший баланс между безопасностью и эффективностью. (Вышеизложенное является первой частью этой статьи)