Введение

Масштабируемость уже давно является проблемой для большинства публичных блокчейнов в области блокчейна. Например, Биткойн пережил трехлетние дебаты о масштабируемости, а Эфириум страдал от перегрузки сети из-за простой игры CryptoKitties. Для решения этой проблемы в отрасли были предложены различные решения, в том числе краткосрочная масштабируемость за счет увеличения размера блока, частичный отказ от децентрализации через механизм консенсуса DPoS, использование альтернативных структур, таких как DAG, и методы масштабирования вне сети, такие как сабчейны и сайдчейны.

Среди них технология шардинга считается эффективным и фундаментальным решением. На конференции разработчиков 2016 года основатель Ethereum Виталик Бутерин опубликовал "фиолетовую бумагу" Ethereum 2.0, в которой представлена идея обработки транзакций через шардинг. Как важное направление для масштабируемости блокчейна, технология шардинга динамически распределяет вычислительные ресурсы путем параллельной обработки, улучшая масштабируемость сети блокчейна и создавая техническую основу для поддержки высокочастотных глобальных транзакций.

Текущие решения масштабируемости блокчейна

Обзор технологии Шардинга

Происхождение идеи

Технология шардинга возникла из разделения баз данных с целью разделения больших баз данных на более маленькие сегменты для более эффективной обработки данных. Идея объединения технологии шардинга с блокчейном была впервые предложена в 2015 году. Двое исследователей из Национального университета Сингапура, Пратик Саксена и Лой Луу, представили доклад на международной конференции по безопасности CCS. Они инновационно разделили сети блокчейнов на «фрагменты», способные обрабатывать транзакции одновременно, предоставляя новое решение проблемы масштабируемости открытых блокчейнов.

Позже эта пара исследователей превратила теорию в практику, разработав первый проект на основе шардинга, Zilliqa. Zilliqa приняла гибридный механизм согласования pBFT и PoW, став самой эффективной общедоступной цепью для обработки транзакций. В дальнейшем технология шардинга также получила признание от создателя Ethereum Виталика Бутерина. В 2016 году Ethereum предложила двухуровневое шардинговое решение, разделяющее сеть Ethereum 2.0 на главную цепочку и цепочки шардов. Главная цепочка, через контракт управления валидаторами (VMC), управляет работой цепочек шардов, а цепочки шардов используют механизм согласования PoS для упаковки данных транзакций и создания блоков проверки. В то же время VMC обеспечивает действительность транзакций и плавный межшардовый обмен данными через модель UTXO и деревья квитанций.

План обновления шардинга Ethereum 2.0

С тех пор, как технология шардинга продолжает развиваться, появился ряд инновационных проектов, способствующих прорывам в масштабируемости блокчейна. Эти проекты не только исследуют потенциал шардинга в скорости обработки и эффективности сети, но также обеспечивают сильную поддержку потенциальных крупномасштабных коммерческих приложений, обещая продвижение технологии блокчейна к новой истории высокой эффективности и широкого применения.

Определение Шардинга

Технология шардинга - это метод оптимизации архитектуры блокчейна путем разделения сети блокчейна на несколько независимых "шард", чтобы обеспечить параллельную обработку данных. Каждый шард работает как независимая вычислительная единица, способная выполнять транзакции и обрабатывать данные самостоятельно, тем самым эффективно распределяя вычислительные и хранилищеские нагрузки сети. Такой подход не только значительно увеличивает скорость обработки транзакций в сети блокчейна, но также оптимизирует требования к хранилищу узлов. Узлам больше не нужно поддерживать полные данные всего блокчейна. Таким образом, шардинг улучшает масштабируемость и производительность сети блокчейна, не подвергая общую безопасность сети, обеспечивая техническую поддержку для приложений большого масштаба.

Источник: Новые архитектуры и методологии для высокопроизводительного блокчейна с шардингом

Типы Шардинга

Технологию шардинга можно разделить на три основных типа: сетевой шардинг, транзакционный шардинг и шардинг состояния. Основной принцип заключается в «разделении целого на части и управлении ими отдельно», позволяя нескольким шардам обрабатывать различные транзакции одновременно, а затем объединять результаты на основной цепочке, тем самым повышая общую производительность сети блокчейна.

1. Сетевой Шардинг
   Сетевой шардинг - это базовая форма шардинга, на основе которой строятся другие механизмы шардинга. Ключевой момент сетевого шардинга заключается в обеспечении безопасности и предотвращении атак зловредных узлов. Конкретно это включает в себя случайный выбор группы узлов для формирования шарды и создание независимого согласия внутри шарды для обработки транзакций. Этот метод значительно увеличивает параллельность сети, поскольку несколько шард одновременно обрабатывают несвязанные транзакции, тем самым повышая производительность системы. Zilliqa - типичный пример блокчейна, использующего сетевой шардинг, объединяющий механизмы консенсуса PoW и pBFT для увеличения скорости. PoW предотвращает атаки Сибила, обеспечивая участие только законных узлов в шардинге, в то время как pBFT облегчает быстрое достижение консенсуса по транзакциям, значительно улучшая скорость подтверждения.

2. Шардинг транзакций
   Шардинг транзакций предполагает распределение различных транзакций по разным шардам для их обработки, что позволяет ускорить скорость обработки транзакций всей сети. Транзакции обычно распределяются на основе адреса отправителя, группируя связанные транзакции для предотвращения двойных трат. Например, если один адрес инициирует две конфликтующие транзакции, они будут быстро обнаружены и предотвращены в пределах одного шарда. В случаях, когда транзакции происходят между шардами, используется межшаровое взаимодействие для обнаружения и блокировки двойных трат. Модель UTXO может дальше улучшить эффективность шардинга транзакций, несмотря на потенциальные проблемы, такие как разделение больших транзакций. Зрелость шардинга транзакций значительно продвинулась, позволяя работать параллельно нескольким механизмам консенсуса.

3. Стейт Шардинг
   Шардинг состояния является самым сложным и сложным типом шардинга. Ключ заключается в том, чтобы обеспечить, чтобы каждый шард поддерживал только свое внутреннее состояние, а не весь глобальный стейт блокчейна, тем самым распределяя требования к хранению данных. Однако при перекрестных транзакциях между шардами вовлеченные шарды должны обмениваться состояниями транзакций, требуя частой межшаровой коммуникации, что может снизить производительность. Более того, шардинг состояния сталкивается с проблемами в согласованности данных и устойчивости к сбоям: если шард подвергается атаке и выходит из строя, его проверка данных может быть затронута. Решение этой проблемы может потребовать резервного копирования глобального состояния на каждом узле, но такие резервные копии противоречат цели децентрализованного хранения при шардинге состояния и могут внести риски централизации.

Стратегии реализации Шардинга

Архитектура Шардинга

Дизайн архитектуры шардинга является основой технологии шардинга, охватывая концепции дизайна основных цепочек и подцепочек, а также распределение узлов внутри и между обломками. В этой архитектуре основная цепочка поддерживает сетевое согласие и безопасность, функционируя как ядро блокчейна, координируя операции субцепочек и обеспечивая глобальную согласованность. Субцепочки являются независимыми регионами, происходящими от основной цепочки, каждая из которых фокусируется на обработке определенных типов транзакций и умных контрактов, тем самым достигая независимой параллельности для повышения эффективности производительности и масштабируемости.

Кроме того, узлы в архитектуре шардинга разделяются на две роли: узлы подцепей, отвечающие за поддержание записей транзакций и состояний в своем фрагменте во время участия в консенсусе для проверки транзакций, и узлы межцепей, задача которых заключается в передаче информации и обновлении состояний между фрагментами для обеспечения координации и синхронизации между основной цепью и подцепями. Это детальное разделение ролей улучшает использование ресурсов и повышает общую пропускную способность транзакций, заложив прочный фундамент для расширения и эффективной работы сетей блокчейн.

Источник: newcomputerworld

Случайная выборка

Случайные механизмы выборки являются ключевыми для обеспечения безопасности и справедливости архитектур шардинга. Ключевую роль играет случайный выбор узлов для формирования шардов и предотвращение возможности злонамеренных атакующих концентрировать контроль над шардом. При выборе узлов часто используются алгоритмы генерации случайных чисел на основе хеш-функций, чтобы обеспечить справедливость и децентрализацию, исключив предвзятость, основанную на географическом положении или историческом поведении. Это гарантирует, что все узлы имеют равные шансы быть выбранными в разные шарды, улучшая децентрализацию сети и ее устойчивость к цензуре.

Чтобы злоумышленники не могли манипулировать шардом, контролируя определенные узлы, в архитектурах сегментирования обычно используются несколько механизмов выбора и стратегии динамического распределения узлов. Например, когда количество узлов в сегменте достигает заданного порога, система автоматически запускает реорганизацию сегментов, случайным образом выбирая новые узлы для присоединения и следя за тем, чтобы распределение узлов в сегменте не становилось чрезмерно концентрированным. Кроме того, механизмы «балансировки сегментов» периодически корректируют распределение узлов между сегментами, не позволяя злоумышленникам использовать концентрацию узлов для атаки на сегмент или манипулирования им. Эти механизмы эффективно снижают риск одноточечных сбоев в архитектуре шардинга и усиливают защиту сети от вредоносных атак.

Источник: Эффективный алгоритм консенсуса Шардинга для блокчейн-систем

Проблемы и решения в шардинге

Проблемы безопасности

Адаптивные атаки злоумышленников относятся к атакам, при которых злоумышленники используют свои знания о сетевых условиях, чтобы нацелиться на конкретные фрагменты в сети блокчейна. Злоумышленники могут манипулировать транзакциями, подделывать данные или вмешиваться в процессы подтверждения транзакций, чтобы достичь своих целей. Поскольку в каждом фрагменте в разделенной архитектуре относительно меньше узлов, злоумышленникам становится проще сосредотачивать свои усилия на одном фрагменте, увеличивая риски безопасности. Для решения этой проблемы необходимо предпринять меры для обеспечения целостности фрагмента.

Одним из эффективных решений является внедрение многоуровневых механизмов проверки и протоколов консенсуса с перекрестным использованием. В частности, в каждом сегменте должно быть установлено несколько узлов валидации для совместного подтверждения транзакций, тем самым увеличивая сложность и стоимость атак. Кроме того, протоколы консенсуса между сегментами облегчают обмен информацией и проверку состояния между сегментами, обеспечивая координацию и согласованность в сети и предотвращая атаки на один шард, угрожающие всей сети. Эти механизмы значительно повышают устойчивость сегментированных архитектур к атакам и снижают риски, связанные с адаптивными состязательными угрозами.

Проблемы доступности данных

Доступность данных - еще одна важная проблема в технологии шардинга. По мере широкого принятия шардинга становится важным эффективно проверять доступность и целостность данных в каждом шарде для поддержания стабильности сети блокчейна. Один из подходов к решению этой проблемы заключается в выборке частей набора данных для быстрой проверки доступности всего набора данных. Этот метод снижает вычислительные затраты на проверку всех данных, улучшая общую эффективность системы.

Кроме того, необходимо установить эффективные механизмы верификации. Например, участвующие узлы должны предоставлять соответствующее доказательство доступности данных при генерации новых блоков. Это особенно важно в случае транзакций между шардами, чтобы обеспечить согласованность и точность данных между шардами.

Case Studies

Ethereum 2.0 Технология Шардинга

В дорожной карте масштабируемости Ethereum Danksharding представляет собой революционное обновление и основную технологию для достижения масштабируемости на большой шкале в Ethereum 2.0. В отличие от традиционных методов шардинга Danksharding интегрирует "слияние рынков платежей" и принимает механизм одного блока предложителя, упрощая процессы кросс-шардных транзакций. Техническая реализация будет постепенно переходить к полному шардингу в Ethereum 2.0 через механизмы, такие как EIP-4844 и proto-danksharding.

Уникальность Danksharding заключается в его инновационной структурной конструкции. Традиционное шардинг делит сети блокчейнов на несколько параллельных подцепочек, при этом каждая подцепочка независимо обрабатывает транзакции и достигает консенсуса. В отличие от этого, Danksharding использует одного предлагающего блока, чтобы устранить сложность и узкие места производительности, вызванные несколькими предлагающими в традиционном шардинге. Цепь-маяк, как основной уровень консенсуса Ethereum 2.0, играет важную роль в этом процессе. Он управляет и координирует всех валидаторов в сети Ethereum, обеспечивая безопасность и последовательность. В рамках Danksharding Цепь-маяк поддерживает состояния валидаторов и облегчает межцепочечную коммуникацию и синхронизацию данных, в целом повышая общую производительность Ethereum 2.0.

Реализация Danksharding будет происходить в несколько фаз. Вначале вводится прото-данкшардинг в качестве переходной фазы во время обновления Cancun Ethereum. С использованием EIP-4844 он поддерживает технологию Rollup для снижения затрат на хранение данных, заложив основу для полной реализации Danksharding. Более того, Danksharding улучшит безопасность Ethereum, предотвращая потенциальные угрозы, такие как атаки 51%, оптимизируя вычислительные и хранилища в сети для поддержки децентрализованных приложений масштаба.

Источник: Разбор ETH 2.0 - Объяснение Шардинга

Технология Polkadot Sharding

Polkadot достигает шардинга благодаря своей инновационной архитектуре «парачейн», позволяющей независимым блокчейнам работать в одной сети и обеспечивать совместимость. Каждый парачейн - это независимая блокчейн-сеть, которая обрабатывает свои данные и транзакции. Эти парачейны координируются и управляются через Реле-цепь, которая обеспечивает унифицированный механизм согласования и обеспечивает безопасность сети, а также синхронизацию данных и согласованность по всему парачейну.

Парачейны также настраиваемы, что позволяет создавать независимые системы управления и настраивать функциональность для удовлетворения конкретных требований, что значительно повышает гибкость и масштабируемость сети. Архитектура парачейнов Полкадот особенно подходит для децентрализованных приложений (DApps) с высокими требованиями, особенно в секторах DeFi, NFT и DAO, где ее масштабируемость и гибкость были доказаны. Например, механизм аукциона слотов парачейнов Полкадот позволяет каждому парачейну обеспечить права на подключение к Релейной цепи и использовать определенные вычислительные ресурсы на протяжении периода аренды. С добавлением большего количества парачейнов Полкадот может достичь более высокой пропускной способности транзакций и более низких комиссий.

В Polkadot 1.0 выделение основных ресурсов определялось через двухлетнюю систему аукционов. В версии 2.0 выделение ресурсов стало более гибким. По мере присоединения большего количества парачейн и динамического распределения ресурсов, Polkadot готовится стать эффективной мультичейн экосистемой, поддерживающей широкий спектр децентрализованных приложений.

Источник: Polkadot v1.0

Технология Шардинга NEAR

NEAR Protocol использует инновационную динамическую технологию шардинга Nightshade, позволяющую системе гибко регулировать количество шардов в зависимости от потребностей сети, обеспечивая эффективную и стабильную работу при различных нагрузках. Архитектура Nightshade, успешно внедренная на основной сети NEAR, обрабатывает большие объемы транзакций и поддерживает разработку DApp, особенно выделяясь в условиях высокой нагрузки.

Основное преимущество Nightshade заключается в возможности динамического шардинга, которая корректирует номера сегментов в режиме реального времени для повышения производительности и масштабируемости сети. В связи с предстоящим обновлением Фазы 2 NEAR вносит значительные улучшения в существующую архитектуру, включая технологию «Проверка без отслеживания состояния». Это нововведение позволяет узлам валидаторов NEAR работать без локального хранения состояний сегментов, вместо этого динамически получая информацию о «свидетелях состояния» из сети для проверки. Такой подход повышает эффективность обработки шардов, снижает требования к аппаратному обеспечению для валидаторов и обеспечивает более широкое участие. По мере того, как технология шардинга продолжает развиваться, NEAR имеет хорошие возможности для поддержки крупномасштабного роста пользователей и обеспечения архитектурной основы для широкого внедрения децентрализованных приложений.

Источник: Что такое Протокол NEAR? Операционная система блокчейн (BOS)

Технология Шардинга TON

Архитектура TON принимает многоуровневую структуру, состоящую из мастерчейна и рабочих цепей, обеспечивая эффективную работу сети и бесшовную межцепочечную коммуникацию. Мастерчейн служит основным реестром сети, храня заголовки блоков для всех рабочих цепей и управляя общим состоянием сети, включая обновления протокола и выборы валидаторов. Рабочие цепи - это независимые подцепи в сети TON, каждая из которых специализируется на конкретных сценариях применения или бизнес-потребностях, тем самым достигая гибкости и специализации сети.

TON подчеркивает совместимость межцепочечными технологиями, обеспечивая беспрепятственное взаимодействие с другими сетями блокчейна для улучшения удобства использования экосистемы и функциональности межблокчейна. Одним из самых заметных инноваций TON является его бесконечная парадигма шардинга, позволяющая сети динамически регулировать количество шардов в соответствии с нагрузкой транзакций. При высоких нагрузках TON разделяет шарды для обработки большего количества транзакций; при низких нагрузках шарды объединяются для сохранения ресурсов и повышения общей эффективности. Этот дизайн горизонтального масштабирования позволяет TON удовлетворять растущие требования к транзакциям, не жертвуя производительностью, поддерживая высоковольтажные приложения, такие как DeFi.

Кроме того, TON внедряет технологию Hypercube, где время передачи данных логарифмически масштабируется с числом блокчейнов. Это означает, что даже при расширении сети TON до миллионов цепочек, скорость обработки и время отклика остаются неизменными. Теоретически TON может поддерживать до 4,3 миллиарда рабочих цепочек, хотя его текущая реализация включает только мастерцепочку и базовые цепочки. Эта инновационная архитектура демонстрирует потенциал TON в условиях высокой загрузки и высокой конкурентоспособности, способствуя широкому принятию технологии блокчейн.

Источник: Шарды | Открытая сеть

Направления будущих исследований

Потенциальные разработки в технологии Шардинга

• Совместимость межцепочечных: С развитием технологии шардинга межцепочечное взаимодействие станет все более важным, особенно по мере роста спроса на обмен информацией и активами между различными блокчейн-сетями. Будущая технология шардинга может дополнительно интегрировать протоколы межцепочечного взаимодействия, такие как Relay Chain Polkadot и IBC Cosmos, для обеспечения беспрепятственного взаимодействия между фрагментами и цепочками.
• Повышенная безопасность через управление шардами: Динамические настройки шард и гибкие механизмы управления станут центральными точками будущих исследований. Шардированные цепочки по-прежнему сталкиваются с проблемами балансировки безопасности и децентрализации. Новые модели безопасности, такие как экономические инцентивные механизмы и обмен валидаторами шардов, будут изучены для снижения риска атак на шардированные цепочки.
• Интеграция с защитой конфиденциальности: сочетание шардинга и защиты конфиденциальности будет решающим в приложениях, связанных с данными. Технологии, такие как доказательства нулевого знания и доверенные исполнительные среды (TEE), могут стать неотъемлемой частью шардинга, обеспечивая безопасность данных при масштабировании шардированных цепочек.

Потенциальные интеграции и инновации в других архитектурах блокчейна

• Инновации в гибридной архитектуре: Будущие архитектуры блокчейна могут объединять несколько технологий, таких как интеграция шардинга с DAG (Directed Acyclic Graph) или многоуровневые архитектуры блокчейна. Многоуровневые цепочки могут использовать мастер-цепочки и боковые цепочки для более эффективного шардинга данных и расширения межцепочечной связи. Например, мастер-блокчейн может сосредоточиться на безопасности и консенсусе, в то время как боковые цепочки обрабатывают более гибкое разделение.
• Адаптация к квантовым вычислениям: по мере развития квантовых вычислений архитектуры блокчейна будут все более учитывать их квантовую совместимость. Вычислительные и криптографические преимущества квантовых вычислений могут потенциально улучшить эффективность шардинга. В то же время необходимо принимать меры предосторожности против квантовых угроз текущим криптографическим алгоритмам, особенно в механизмах межшардовой связи и валидации.
• Управление осколками с использованием искусственного интеллекта: Искусственный интеллект и машинное обучение могут быть применены для автоматизации и оптимизации сетей шардинга, особенно в предсказании нагрузки осколков, прогнозировании трафика и динамических корректировках осколков. В будущем управление осколками, основанное на искусственном интеллекте, позволит блокчейнам адаптивно оптимизировать выделение ресурсов, улучшая общую эффективность сети и пользовательский опыт.

Заключение

Технология шардинга делит блокчейн-сети на множество независимых и параллельных «шардов», эффективно снижая нагрузку на отдельные узлы и расширяя возможности обработки транзакций. Это становится основным направлением в расширении возможностей сферы блокчейна. От Danksharding в Ethereum 2.0 до парадигмы бесконечного шардинга TON, все большее число блокчейн-сетей изучают и внедряют технологию шардинга для удовлетворения растущего спроса на пропускную способность транзакций. Между тем, такие проблемы, как межсетевая совместимость и доступность данных, способствовали появлению новых технологических инноваций, обеспечивающих сотрудничество и обмен активами между различными блокчейнами.

Однако внедрение технологии шардинга не проходит без вызовов. Проблемы, такие как безопасность, согласованность данных и эффективность междушарной коммуникации, требуют дальнейших прорывов. В будущем технология шардинга будет продолжать толкать блокчейн к новой эре высокой производительности и широкого применения. По мере совершенствования технологии, архитектуры шардинга станут более гибкими и безопасными, поддерживая большее количество децентрализованных приложений (DApps) и финансовых инноваций, в конечном итоге принося большую устойчивость и инновации в глобальную экосистему блокчейн.