17 октября 2024 года децентрализованный протокол хранения Walrus объявил на X (ранее известном как Twitter) о запуске своей публичной тестовой сети. Walrus, разработанный для блокчейн-приложений и автономных агентов, уже выпустил предварительную версию для размещения обратной связи. Ключевыми преимуществами протокола являются экономичное хранение больших объемов данных, высокая доступность и надежность.

Walrus уже используется, известное блокчейн-издание "Decrypt" хранит новостные статьи, видео и изображения на платформе, чтобы создавать недоступный для взлома контент для зашифрованной медиакомпании, способствуя доверие между изданием и его читателями. В этой статье будет предоставлено подробное описание технической архитектуры Walrus, его операций и токеномики его токена WAL.

Источник: x

Обзор проекта Walrus

Walrus - это децентрализованное решение для хранения данных на блокчейне Sui, разработанное командой Mysten Labs, стоящей за проектом Sui. Основные члены этой команды ранее работали над проектом блокчейна Libra (позже переименованного в Diem и проданного Silvergate) в Facebook. Walrus использует новый язык программирования "Move", который возник из проекта Libra.

В отличие от основанных на IPFS основных проектов хранения, Walrus сосредоточен на обработке больших файлов данных. Он разработан для хранения и доставки необработанных данных и медиафайлов, таких как видео, изображения и PDF. Walrus обеспечивает быстрое и эффективное хранение этих больших файлов или блобов, предлагая гибкость, масштабируемость и программирование. Даже при византийских ошибках протокол обеспечивает высокую доступность и надежность.

Команда разработчиков: Mysten Labs

Mysten Labs объединяет ведущих экспертов в области распределенных систем, языков программирования и криптографии. Его основатели являются высокопоставленными руководителями Meta's Novi Research и главными архитекторами блокчейна Diem и языка программирования Move. Миссия Mysten Labs - создание инфраструктуры для web3.

Источник: Средний

Информация о финансировании

Компания Mysten Labs была основана в 2021 году и достигла значительного роста за два года. Она привлекла $36 миллионов на серии A, а затем $300 миллионов на серии B. Проект вызвал значительный интерес у венчурной фирмы Silicon Valley Andreessen Horowitz (a16z).

Другие инвесторы включают Binance Labs, Coinbase Ventures и FTX Ventures, с поддержкой свыше 20 институтов, обеспечивающих финансовую основу Mysten Labs.

Источник: icodrop

Основные типы протоколов децентрализованного хранения

В настоящее время протоколы децентрализованного хранения можно разделить на два основных типа: полностью реплицированные системы и системы с кодированием Рида-Соломона (RS).

Тип 1: Полностью реплицированные системы

Полностью реплицируемые системы, такие как Filecoin и Arweave, предлагают простой доступ и миграцию, но сталкиваются с высокими затратами на хранение и рисками безопасности, такими как потенциальные атаки Сибилл. Например, для достижения высокой безопасности может потребоваться в 25 раз больше места для хранения. Хотя этот метод обеспечивает безразрешительную среду, его надежность в значительной степени зависит от устойчивости выбранных узлов хранения.

Тип 2: Системы с кодированием RS

В отличие от кодирования RS (конкретного типа кодирования стирания), которое может значительно уменьшить требования к репликации и улучшить безопасность. Кодирование RS разбивает файл на меньшие фрагменты данных, каждый из которых представляет часть исходного файла. Любая комбинация фрагментов, общий размер которых превышает исходный файл, может быть использована для восстановления файла. Даже если до трети узлов являются злонамеренными, кодирование RS может поддерживать достаточную безопасность при всего лишь в три раза большем объеме хранения.

Однако у RS-кодированных систем есть проблемы, включая высокие вычислительные затраты и ограничения масштабируемости. Они практичны только тогда, когда общий размер данных и количество шар относительно невелики. Кроме того, если узлы хранения выходят из строя и должны быть заменены, система требует, чтобы все существующие узлы отправляли шары на заменяющий узел, что приводит к значительным накладным расходам на передачу по сети.

Независимо от используемого протокола, системы децентрализованного хранения сталкиваются с проблемами сохранения данных и координации узлов, что ограничивает масштабируемость. Для решения этих проблем многие системы реализуют протоколы хранения и разрабатывают пользовательские блокчейны для обработки транзакций и операций с криптовалютой, улучшая общую эффективность и функциональность.

Источник:Messari

Как работает Walrus?

Как уже упоминалось, Walrus разработан специально для хранения больших и мультимедийных файлов. Он объединяет преимущества двух типов децентрализованного хранения, чтобы создать уникальный третий тип хранилища на основе блобов: новый язык программирования (Move) + новый алгоритм кодирования (Red Stuff) + SUI Blockchain.

Это позволяет Моржу масштабироваться до сотен узлов хранения (провайдеров) и достигать высокой гибкости с минимальными накладными расходами на хранение. Система не требует построения полностью выделенного протокола блокчейна для работы. Вместо этого она использует существующую блокчейн-систему SUI в качестве плоскости управления для управления:

• Управление жизненным циклом хранилищных узлов
• Управление жизненным циклом блобов (бинарных больших объектов)
• Экономические и стимулирующие механизмы

Такой подход позволяет Walrus использовать функциональные возможности блокчейна Sui, не разрабатывая блокчейн с нуля. Это упрощает проектирование и реализацию Walrus, обеспечивая ключевые функции для децентрализованного хранения.

Источник: Белая книга по Вальрусу

Базовая архитектура

Архитектура Walrus обеспечивает доступность контента даже в случае отказа узлов или злонамеренной деятельности. Она использует передовую технологию коррекции ошибок на основе быстрых линейных фонтановых кодов (кодирование стиранием), улучшая устойчивость к византийским ошибкам и поддерживая динамическое изменение узлов хранения. Walrus упрощает свои основные функции, используя умные контракты Sui для управления узлами хранения и проверки блобов.

В Walrus клиенты координируют потоки данных, данные кодируются издателем и надежно сохраняются. Метаданные и доказательство доступности хранятся на блокчейне Sui с использованием языка Move для обеспечения композиции и безопасности. Ёмкость хранения также может быть токенизирована, что позволяет интеграцию с приложениями на основе Sui. Кроме того, Walrus поддерживает другие блокчейны, такие как Solana и Ethereum. Доступ к данным облегчается через агрегаторы, собирающие информацию с узлов хранения, и предоставляется через CDN или системы кэширования.

Основные компоненты

Blob (Binary Large Object)

Blob представляет собой неизменяемый объект, эквивалентный файлу (сырые данные). Решение для хранения blob предназначено для облачного хранилища, в основном предназначено для больших объемов неструктурированных данных, таких как изображения, документы и видео. Эти данные обычно хранятся в бинарном формате и не обязательно следуют определенным форматам файлов.

Новый алгоритм кодирования: Красная вещь

В основе Walrus лежит Red Stuff, который представляет собой новый двухмерный алгоритм кодирования на основе фонтанных кодов. В отличие от кодирования RS (Рида-Соломона), фонтанные коды в основном полагаются на операции XOR (исключающее ИЛИ), что упрощает математическую сложность. Вот краткий обзор фонтанных кодов и XOR:

XOR (Исключающее ИЛИ) - это логический оператор, аналогичный концепции «два отрицания дают положительный результат». Это тип логического анализа, применяемый к двум операндам. В отличие от обычного логического ИЛИ, XOR возвращает ложь, когда оба значения одинаковы, и истину, когда значения отличаются.

В теории кодирования фонтанные коды - это тип кода исправления ошибок на основе графовых линейных методов кодирования. Они дополнительно улучшают производительность исправления ошибок путем уменьшения потери пакетов. Два основных типа фонтанного кода - это LT-коды и Raptor-коды.

Простыми словами, кодирование стирания предполагает взятие K блоков исходных данных и кодирование их в n закодированных блоков данных, где n > K. Во время передачи, если какие-то данные потеряны, оставшиеся блоки данных (называемые K 'полученными данными) могут быть использованы для восстановления (восстановленных данных) исходных данных, при условии K '≥ K. Это обеспечивает, что исходные данные могут быть восстановлены, независимо от потерянных блоков. Это соответствует представленной ниже фигуре.

Источник: researchgate

Хранение и извлечение: поддержка чтения и записи блобов

Walrus поддерживает как запись, так и чтение блобов. Он также позволяет любому доказать, что блоб был сохранен и может быть восстановлен позднее.

Процесс записи блобов в Walrus интегрирует технологию блокчейн с распределенным хранением. Писатели кодируют блобы, используя алгоритм Red Stuff, регистрируют их в блокчейне, чтобы получить место для хранения, и распределяют фрагменты на узлы хранения. Затем на блокчейне публикуется сертификат хранения, подтверждающий доступность блоба. Этот процесс обеспечивает распределенное хранение и надежность данных, используя блокчейн для управления метаданными и координации хранения.

Во время процесса чтения пользователи могут запрашивать обязательства и первичные фрагменты блока с любого узла хранения. После того как будет собрано достаточное количество действительных доказательств, блок будет восстановлен и проверен. Свойства красной материи обеспечивают последовательные чтения, и при нормальных условиях пользователям нужно загружать слегка больше данных, чем размер исходного блока. Система предоставляет стимулы для сценариев с высоким спросом, чтобы поддерживать эффективность чтения, о чем будет рассказано в разделе «Механизм поощрения». Кроме того, использование агрегаторов и кэширования помогает снизить частоту восстановления блока, улучшая общую производительность.

Эффективность затрат и асинхронная целостность данных: Красная Штука + Кодирование Стирания

Как уже обсуждалось, два основных типа протоколов децентрализованного хранения - полная репликация и RS-кодирование. Walrus считает, что хотя эти методы обеспечивают низкие накладные расходы и сильные гарантии, они не подходят для долгосрочного развертывания. В масштабных системах, работающих в течение длительного времени, узлы хранения подвержены отказам, потере фрагментов или частой смене узлов. В системах без разрешения узлы хранения могут естественным образом уходить, даже с поощрениями, что приводит к потере данных. Независимо от причины, восстановление потерянных фрагментов для новых узлов требует значительных затрат на передачу данных.

Таким образом, Walrus предлагает, что стоимость восстановления потерянных данных должна быть пропорциональна только количеству данных, которые нужно восстановить. Кроме того, по мере увеличения количества узлов в сети эти затраты на восстановление должны уменьшаться.

Для достижения этой цели Red Stuff использует двумерные техники кодирования (на основе логики XOR) для разделения данных на фрагменты и распределения их по узлам хранения. Это позволяет более эффективно восстанавливать потерянные данные без необходимости загружать весь блоб целиком.

Источник:Белый бумага о белом медведе

Используя передовое кодирование стирания, Walrus сохраняет стоимость хранения примерно в пять раз больше размера хранимого блоба. Закодированные данные для каждого блоба распределяются по разным узлам хранения, обеспечивая асинхронную целостность данных. Этот подход намного более эффективен с точки зрения затрат, чем традиционные методы полного реплицирования, и обладает большей устойчивостью к сбоям, чем протоколы, которые хранят каждый блоб только в подмножестве узлов хранения.

Источник: Белый бумага о Моржах

Гибкий доступ

Пользователи могут взаимодействовать с Walrus через интерфейс командной строки (CLI), набор разработчика программного обеспечения (SDK) и технологии web2 HTTP. Walrus разработан таким образом, чтобы хорошо работать с традиционным кэшированием и сетями доставки контента (CDN), при этом гарантируя, что все операции можно выполнить с использованием локальных инструментов для максимальной децентрализации.

Токеномика и механизмы стимулирования Валраса

Экономические вызовы моржа отличаются от типичных блокчейнов, поскольку морж использует блокчейн Sui в качестве контрольной плоскости, наследуя безопасность консенсуса блокчейна. Морж использует механизм делегированного доказательства доли (DPoS), где заинтересованные лица делегируют свои токены кандидатам-узлам хранения на каждом цикле. Система DPoS предотвращает атаки Сибила и использует токен WAL для управления и стейкинга с целью поощрения эффективной работы сети. Узлам хранения необходимо ставить токены WAL, чтобы участвовать в сети. Сеть DPoS обеспечивает возможность восстановления данных даже в том случае, если узлы присоединяются, покидают сеть, изменяют ставки или не сотрудничают между собой. Управление также определяет штрафы для поощрения хорошего поведения.

Однако, поскольку сеть децентрализована, изменение узлов со временем может привести к "трагедии общего". Таким образом, обеспечение долгосрочных обязательств является значительным вызовом для системы Walrus.

Чтобы решить эту проблему, компания Walrus разработала экономическую и стимулирующую систему, обеспечивающую конкурентоспособное ценообразование, эффективное распределение ресурсов и минимальное враждебное поведение. Он вводит экономическую модель, основанную на стейкинге, используя вознаграждения и штрафы для корректировки стимулов и обеспечения выполнения долгосрочных обязательств. Эта система включает в себя механизмы ценообразования на ресурсы хранения и операции записи, дополненные моделью корректировки параметров на основе маркеров.

Стейкинг токенов WAL и управление

Токеномика Walrus в основном крутится вокруг токена WAL, при этом узлы хранения или их представители ставят WAL токены в основу безопасности Walrus. Хорошее поведение вознаграждается, а плохое (слэш) наказывается. Механизм стейкинга Walrus состоит из четырех основных компонентов: стейкинг и распределение фрагментов данных, процесс отмены стейкинга, накопление наград и штрафов, а также корректировки, необходимые для самостоятельного обладания активами. Этот дизайн обеспечивает безопасность и эффективность, обеспечивая гибкость и стимулы для участников.

1）Делегированное стейкинг и распределение фрагментов данных

Walrus включает в себя уровень делегированного стейкинга, позволяющий всем пользователям участвовать в сетевой безопасности. Узлы конкурируют за привлечение пользовательских стейков, что определяет, как распределяются шарды. Пользователи выбирают узлы для стейкинга на основе репутации, капитала в стейкинге и комиссионных ставок. После блокировки цикла (например, в контрольной точке «c» на рисунке 5) стейк фиксируется на выбранном узле хранения, а сегменты данных распределяются в соответствии с долей узла в общей доле для следующего цикла.

Хранилищеские узлы могут выбирать, сколько капитала они готовы вкладывать, или даже решить не вкладывать капитал, поскольку Walrus не накладывает минимальные капиталовложения. Эта гибкая конструкция позволяет узлам различного размера и финансовой мощности участвовать, предоставляя делегатам свободу оценивать пригодность каждого узла.

Комиссионная ставка обеспечивает безопасность

Walrus обеспечивает защиту от комиссионных ставок. Walrus требует, чтобы узлы (т. е. поставщики хранения) устанавливали свои комиссионные ставки до истечения срока каждого цикла, и эта комиссионная ставка остается неизменной на протяжении всего цикла. Цель этого механизма состоит в том, чтобы:

• Чтобы обеспечить прозрачность и предсказуемость для делегаторов (т. е. стейкеров). Они могут четко знать комиссионную ставку, которую им придется платить на протяжении всего цикла.⁠⁠
• Чтобы предотвратить резкое повышение комиссионных ставок узлов, если узел решает увеличить свою комиссионную ставку на следующий цикл, делегатам предоставляется достаточно времени для отзыва ставок до вступления в силу новой ставки.

Самостоятельное хранение активов в стейкинге

Walrus использует модель самостоятельного доверительного управления, аналогичную SUI. Когда пользователи ставят свои средства, они упаковываются в их собственные доверительные объекты, а не переводятся непосредственно в систему Walrus. Это снижает уязвимость системы и позволяет пользователям создавать дополнительные функции на основе своих ставок, хотя это вносит определенные операционные вызовы.

Несмотря на то, что Walrus может сокращать капитал в стейкинге, у него нет опеки над средствами, а это означает, что он отслеживает неоплаченные штрафы. Когда пользователи пытаются вывести свои токены WAL, они должны представить свой кастодиальный объект смарт-контракту Walrus для разблокировки, и любые неоплаченные штрафы будут вычтены из суммы стейкинга. Walrus также может столкнуться с проблемами с денежными потоками, когда штрафы должны быть распределены между другими участниками. Чтобы подготовиться к крайним случаям (например, если доля узла будет полностью сокращена или объект не будет возвращен), Walrus сохраняет резервный фонд — 5% от первоначальной основной суммы — используемый для погашения, чтобы стимулировать пользователей возвращать все объекты в стейкинге.

2）Перенос осколка

Миграция шардов - это механизм, который запускается, когда системе требуется балансировка нагрузки хранения между узлами, или когда узлы выходят из строя, или происходят изменения в относительной доле узлов. Этот процесс перераспределяет данные шардов между различными узлами для поддержания производительности сети.

Миграция шарда состоит из трех фаз: алгоритм распределения, совместный путь передачи и путь восстановления.

1. Алгоритм распределения: в конце каждого цикла система запускает алгоритм, чтобы определить, как должны быть распределены осколки между узлами на следующий цикл на основе ставки каждого узла и других факторов.
2. Совместный путь: это основной способ передачи осколков. Узлы координируют передачу осколков от одного узла к другому. Если передача прошла успешно, дальнейшие действия не требуются.
3. Путь восстановления: Система активирует механизм восстановления, если кооперативный перенос завершается неудачей (например, узел-получатель не получает все данные или не подтверждает получение). Это может включать в себя наложение штрафов на узел, ответственный за неудачный перенос, и привлечение других узлов для восстановления.

Механизм миграции осколков обеспечивает динамическое равновесие и безопасность в сети Walrus, позволяя системе адаптироваться к изменениям узлов и предотвращать потенциальные атаки.

3) Механизм ценообразования и оплата за операции записи на хранение

Как децентрализованная система, Walrus нуждается в механизме для определения ценности и распределения ресурсов. Этот механизм позволяет узлам предлагать конкурентоспособные услуги, обеспечивая при этом адекватное вознаграждение, обеспечивая экономические стимулы. Фиксированные модели ценообразования и предоплаты обеспечивают стабильность системы, сводя к минимуму риски волатильности цен.

Механизм ценообразования и процесс оплаты

В начале каждой эпохи узлы хранения голосуют за цены на хранение и запись. Система выбирает 66,67-й процентиль (по весу доли) в качестве конечной цены. Пользователи платят цену за запись при регистрации блоба и плату за хранение при покупке хранилища. Эти сборы распределяются на соответствующие узлы в конце эпохи, обеспечивая справедливую ценовую политику и плавную работу системы.

4）Управление токенами WAL

Управление в Walrus осуществляется с помощью токена WAL, который регулирует параметры системы. Четыре ключевых параметра подлежат регулированию, включая те, которые связаны с восстановлением фрагментов и вызовами данных. Перед сроком ставки каждой эпохи любой узел Walrus может предложить изменить параметры. Узлы голосуют по предложениям, причем голосовая сила пропорциональна их общей ставке (включая делегированную ставку). Предложение требует более 50% одобрения и должно удовлетворять кворуму, чтобы быть реализованным в следующей эпохе.

Механизмы стимулирования

Проблемы хранения

Механизм вызова хранения в системе Walrus обеспечивает соответствие узлов хранения и экономическую безопасность системы.

Политика поощрения для решения задач хранения может быть суммирована следующим образом: система Walrus использует периодические случайные задачи для проверки, хранят ли узлы хранения данные, которые они утверждают, что хранят. Узлы должны отвечать на эти вызовы, предоставляя доказательства выбранных блобов. Если узлы хорошо справляются с этими вызовами (получают 50% или более положительных отчетов), они считаются выполнившими свои обязанности. Напротив, узлы, плохо справляющиеся с задачами, будут подвергаться наказаниям, таким как снижение ставок их токенов. Этот механизм стимулирует узлы прежде всего действовать честно и поддерживать целостность сети.

Награды за чтение

Главная цель Walrus - предоставить надежное хранение блобов. Он поощряет узлы хранения предоставлять бесплатные и быстрые службы чтения, но не требует этого. Хотя некоторые узлы хранения готовы предоставить службы чтения для поддержки Walrus, будут также узлы, предоставляющие только хранилище. Если, случайно, все узлы ожидают, что другие узлы предоставят службы чтения, это может привести к ситуации, когда запросы клиентов на чтение остаются без ответа, что влияет на нормальную работу системы Walrus. Чтобы решить эту проблему, Walrus предлагает три схемы стимулирования чтения:

1) Модель услуг узла: Пользователи заключают платные контракты с хранилищем узлов для чтения данных. Это может включать прямые платные конечные точки или соглашения на уровне предприятия. Этот метод может стать основным способом взаимодействия кэшей и провайдеров контента с Walrus.

2）On-chain Bounties: Когда чтение не удается, пользователи могут размещать вознаграждения on-chain. Узлы хранения зарабатывают вознаграждения, предоставляя данные. Этот метод реализуется через умные контракты SUI, но может быть громоздким и сложным.

3) Пробные узлы: Этот метод вводит пробные узлы в качестве дополнительных участников, обеспечивая децентрализованные гарантии безопасности на уровне 2. Он позволяет пробным узлам выбирать символы непосредственно из хранилища узлов через чтение с наилучшими усилиями или загрузку блобов через кэш и их повторное кодирование. Хотя этот метод сложнее, он более надежный и предоставляет путь для участия сообщества.

Все эти схемы направлены на обеспечение доступности и эффективности системы Walrus при сохранении ее децентрализованного характера.

Заключение

Walrus - инновационная децентрализованная система хранения данных, которая объединяет технологию 2D-кодирования с механизмом делегированного доказательства доли. Это сочетание обеспечивает пользователям эффективные, безопасные и экономичные решения для хранения данных. Система обеспечивает эффективное восстановление данных и низкозатратное хранение, обеспечивая при этом стабильность и надежность сети через гибкие методы доступа и надежные стимулирующие механизмы. Умная экономическая модель Walrus предотвращает "трагедию общественных благ", а децентрализованный механизм управления, реализуемый через токены WAL, дополнительно улучшает автономию и устойчивость системы.

С инвестиционной точки зрения Walrus уникально позиционируется на быстроразвивающемся рынке децентрализованного хранения. Он не только решает проблемы традиционного централизованного хранения, но и предлагает значительные конкурентные преимущества в эффективности и затратах. Однако, как проект, только начинающий свой путь, Walrus может столкнуться с техническими проблемами и рисками безопасности, и его долгосрочный успех в значительной степени зависит от уровня принятия в практических приложениях.

В целом, Walrus представляет собой значительный прорыв в технологии блокчейн в области хранения данных, предлагая потенциально ценную возможность для долгосрочных инвесторов. Он демонстрирует будущее направление децентрализованного хранения и имеет потенциал принести революционные изменения в управлении данными и защите конфиденциальности. Однако, как и со всеми инвестициями в новые технологии, инвесторам следует всесторонне оценить риски, тщательно отслеживать траекторию развития проекта и реакцию рынка, чтобы принимать обоснованные инвестиционные решения.