Надежность в масштабах Walrus: Внутри механизма шифрования Erasure RedStuff

#Walrus предлагает новый подход к децентрализованному хранению blob на Sui, с акцентом на (высокую доступность) и контроль затрат на хранение. Сердцем этой системы является RedStuff – механизм двухмерного (2D) кодирования с исправлением ошибок, позволяющий сохранять и восстанавливать данные даже при сбое нескольких узлов в сети. В отличие от традиционных моделей копирования данных, которые требуют много ресурсов, RedStuff разработан для достижения высокой стойкости данных с низкими накладными расходами, что подходит для хранения больших объемов данных в масштабах сети. Почему Надежность — Жизненно важный фактор в Walrus? В децентрализованных сетях churn (постоянное участие и выход узлов) — норма. Узлы могут быть офлайн из-за аппаратных ошибок, обслуживания или просто перестать работать. Использование полной репликации (копирования всех данных на множество узлов) приведет к: Значительному увеличению объема храненияНизкой эффективности по стоимостиНекорректности для больших данных (AI, media, dataset) @WalrusProtocol решает эту задачу с помощью исправления ошибок – хранит только необходимые фрагменты данных (sliver), при этом обеспечивая возможность полного восстановления данных при необходимости. Как работает базовое кодирование ошибок? Кодирование ошибок делит исходные данные на множество мелких частей, а затем добавляет избыточные (redundancy). Достаточно собрать подмножество этих частей, чтобы восстановить все исходные данные. По сравнению с простым копированием: Меньше занимает местоБолее устойчиво к ошибкамНо с традиционным 1D-кодированием ошибок (например Reed–Solomon), процесс восстановления часто требует большого пропускного канала, иногда приходится загружать почти весь файл Именно здесь RedStuff 2D делает разницу. RedStuff: Особенность двухмерного кодирования (2D) RedStuff организует данные в двумерную матрицу с рядами и столбцами. Первичное кодирование (Primary Encoding) применяется по столбцамВторичное кодирование (Secondary Encoding) — по строкам В результате создаются: Primary slivers (мелкие первичные части)Secondary slivers (мелкие вторичные части) Каждый узел в сети хранит уникальную пару sliver, состоящую из одной первичной и одной вторичной части. Такой 2D-подход позволяет восстанавливать данные: БыстрееМеньше по пропускной способностиНе требует загрузки всего blob Процесс кодирования blob в RedStuff Процесс преобразования blob данных в части для хранения в Walrus включает следующие шаги: Шаг 1: Подготовка матрицы Исходный blob делится на символы и организуется в матрицу с несколькими строками и столбцами. Шаг 2: Первичное кодирование Каждый столбец матрицы кодируется независимо, создавая первичные slivers. Шаг 3: Создание вторичных slivers Далее, каждая строка промежуточной матрицы кодируется для получения вторичных slivers. Шаг 4: Формирование пар sliver Каждая первичная sliver объединяется с одной вторичной для формирования пары хранения. Шаг 5: Распределение по узлам Каждый активный узел в комитете получает и хранит одну пару sliver. Шаг 6: Создание криптографических обязательств Система создает криптографические commitments для каждой sliver и всего blob, что позволяет проверять их на цепочке. Шаг 7: Хранение и подтверждение Требуется подтверждение ≥ 2/3 узлов для успешного сохранения данных. После достижения кворума blob считается надежно сохраненным. Восстановление и отказоустойчивость Walrus использует механизм на основе quorum: Запись (Write): требуется ≥ 2/3 узлов Чтение (Read): достаточно ≥ 1/3 узлов Это означает: Данные доступны даже при отключении большинства узловПодходит для ситуаций с фрагментацией сети или локальными сбоями Более того, при потере данных узлом: Этот узел должен загрузить только один sliverПропускная способность восстановления пропорциональна размеру sliver, а не всему blob Сравнение накладных расходов между моделями хранения

RedStuff достигает оптимального баланса между затратами и стойкостью данных. Значение для экосистемы Walrus Благодаря высокой надежности и низким накладным расходам, Walrus особенно подходит для: Наборов данных AI & Machine LearningМедиа, видео, цифрового контента большого объемаДанных on-chain/off-chain для долгосрочного доступа Разработчики могут создавать приложения на Sui с программируемыми данными, не завися от централизованной инфраструктуры. Токен WAL выполняет роль: Оплаты затрат на хранениеРаспределения наград узлам и стейкерамПомогает поддерживать стабильные цены на хранение в долгосрочной перспективе Риски и ограничения, которые нужно учитывать Высокий churn узлов может активировать частое автоматическое восстановление, увеличивая краткосрочную пропускную способностьПорог quorum должен быть достаточно высоким для обеспечения безопасностиРиск мотивации при неэффективной работе узлов, несмотря на предусмотренные штрафы и сжигание токенов Заключение RedStuff — это не только техническое улучшение, но и основа, которая помогает Walrus расширять децентрализованное хранение устойчиво. Объединяя 2D-кодирование ошибок, умный quorum и мотивацию на цепочке, Walrus обеспечивает: Высокую надежностьРазумные затратыБыстрое и легкое восстановление Это ключевой фактор, который делает WAL краеугольным камнем инфраструктуры данных в экосистеме Sui. $WAL {spot}(WALUSDT)