Используя мощь алгоритмов, вычислительных мощностей и данных, развитие технологии ИИ пересматривает границы обработки данных и принятия интеллектуальных решений. В то же время, DePIN представляет собой смену парадигмы от централизованной инфраструктуры к децентрализованным сетям на основе блокчейна.

По мере того как мир ускоряет темпы цифровой трансформации, ИИ и DePIN (децентрализованная физическая инфраструктура) стали основополагающими технологиями, способствующими преобразованиям во всех отраслях. Слияние ИИ и DePIN не только способствует быстрому развитию технологий и их повсеместному применению, но и открывает более безопасную, прозрачную и эффективную модель обслуживания, внося глубокие изменения в мировую экономику.

DePIN: Децентрализация переходит от виртуальности к реальности, являясь основой цифровой экономики

DePIN - это аббревиатура от Decentralized Physical Infrastructure (Децентрализованная физическая инфраструктура). В узком смысле слова DePIN в основном относится к распределенной сети традиционной физической инфраструктуры, поддерживаемой технологией распределенных книг, такой как сеть электропитания, сеть связи, сеть позиционирования и т.д. В широком смысле, все распределенные сети, поддерживаемые физическими устройствами, можно назвать DePIN, например, сети хранения данных и вычислительные сети.

Источник изображения: Messari

Если криптовалюты привели к децентрализованным изменениям на финансовом уровне, то DePIN - это децентрализованное решение в реальной экономике. Можно сказать, что машина для добычи PoW - это своего рода DePIN. Итак, DePIN был основным столпом Web3 с самого первого дня.

Три элемента ИИ - алгоритм, вычислительная мощность и данные. DePIN эксклюзивно владеет двумя

Считается, что развитие искусственного интеллекта опирается на три ключевых элемента: алгоритмы, вычислительные мощности и данные. Алгоритмы - это математические модели и программная логика, которые управляют системами ИИ, вычислительная мощность - это вычислительные ресурсы, необходимые для выполнения этих алгоритмов, а данные - это основа для обучения и оптимизации моделей ИИ.

Какой из трех элементов наиболее важен? До появления chatGPT люди обычно думали о нем как об алгоритме, иначе научные конференции и журнальные статьи не были бы заполнены тонкими настройками алгоритмов одна за другой. Но когда был представлен chatGPT и большая языковая модель LLM, поддерживающая его интеллект, люди начали осознавать важность двух последних. Массивные вычислительные мощности - необходимое условие для рождения моделей. Качество и разнообразие данных имеют решающее значение для создания надежной и эффективной системы искусственного интеллекта. В сравнении с этим, требования к алгоритмам уже не такие высокие, как раньше.

В эпоху больших моделей ИИ перешел от тонкой настройки к грубой силе, при этом растет потребность в вычислительной мощности и данных. DePIN, как оказалось, может это обеспечить. Стимулирование токенами позволит использовать рынок long-tail, где массивные вычислительные мощности и хранилища потребительского класса станут лучшим питанием для больших моделей.

Децентрализация ИИ - это не вариант, а необходимость

Конечно, кто-то может спросить, зачем выбирать DePIN вместо централизованных сервисов, если и вычислительные мощности, и данные доступны в дата-центрах AWS, и, более того, AWS превосходит DePIN по стабильности и удобству использования?

Это утверждение, естественно, имеет свое обоснование. В конце концов, если посмотреть на сегодняшнюю ситуацию, почти все крупные модели прямо или косвенно разрабатываются крупными интернет-компаниями. За chatGPT стоит Microsoft, а за Gemini - Google. В Китае почти у каждой крупной интернет-компании есть большая модель. Почему так? Это происходит потому, что только крупные интернет-компании обладают вычислительной мощью, подкрепленной высококачественными данными, и большими финансовыми ресурсами. Но это неверно. Люди больше не хотят, чтобы ими манипулировали интернет-гиганты.

С одной стороны, централизованный ИИ несет в себе риски для конфиденциальности и безопасности данных и может быть подвержен цензуре и контролю. С другой стороны, ИИ, созданный интернет-гигантами, еще больше усилит зависимость людей, приведет к концентрации рынка и увеличит барьеры для инноваций.

от: https://www.gensyn.ai/

В эпоху ИИ человечеству больше не нужен Мартин Лютер. Люди должны иметь право разговаривать с Богом напрямую.

DePIN с точки зрения бизнеса: Снижение затрат и повышение эффективности - ключевые факторы

Даже если оставить в стороне споры между ценностями децентрализации и централизации, с точки зрения бизнеса использование DePIN для ИИ все равно имеет свои преимущества.

Во-первых, важно понимать, что, хотя интернет-гиганты контролируют большое количество ресурсов высококлассных видеокарт, комбинация видеокарт потребительского класса в руках частных лиц все еще может образовать значительную вычислительную сеть, известную как эффект длинного хвоста вычислительной мощности. Эти видеокарты потребительского класса часто имеют высокую частоту простоя. До тех пор, пока стимулы, предоставляемые DePIN, превышают стоимость электроэнергии, у пользователей есть мотивация предоставлять свои вычислительные мощности в сеть. Кроме того, поскольку пользователи сами управляют физической инфраструктурой, сеть DePIN не несет эксплуатационных расходов, которых не могут избежать централизованные поставщики, и может сосредоточиться исключительно на разработке протоколов.

Что касается данных, то сеть DePIN может раскрыть потенциальную полезность данных и снизить затраты на их передачу с помощью пограничных вычислений и других методов. Более того, большинство распределенных сетей хранения данных обладают функцией автоматической дедупликации, что снижает необходимость в обширной очистке данных при обучении ИИ.

И наконец, криптоэкономика, привнесенная DePIN, повышает отказоустойчивость системы и способна обеспечить беспроигрышную ситуацию для провайдеров, потребителей и платформ.

Изображение из: Калифорнийский университет в Лос-Анджелесе

Если Вы не верите, последние исследования Калифорнийского университета показывают, что использование децентрализованных вычислений позволяет достичь в 2,75 раза большей производительности, чем традиционные кластеры GPU, при той же стоимости. В частности, он в 1,22 раза быстрее и в 4,83 раза дешевле.

Впереди трудный путь: С какими трудностями столкнется AIxDePIN?

Мы решили отправиться на Луну и сделать другие вещи в этом десятилетии не потому, что они легкие, а потому, что они трудные. - Джон Фицджеральд Кеннеди

Использование распределенного хранилища и распределенных вычислений DePIN для создания моделей ИИ без доверия по-прежнему сопряжено со многими трудностями.

Проверка работы

По сути, и вычисление моделей глубокого обучения, и добыча PoW - это формы общих вычислений, в которых сигнал, лежащий в основе, меняется между схемами гейтов. На макроуровне добыча PoW - это "бесполезные вычисления", попытка найти хэш-значение с префиксом из n нулей путем бесчисленных генераций случайных чисел и вычислений хэш-функции. С другой стороны, вычисления в глубоком обучении - это "полезные вычисления", вычисление значений параметров каждого слоя в глубоком обучении с помощью прямого и обратного распространения, что позволяет построить эффективную модель ИИ.

Дело в том, что "бесполезные вычисления", такие как PoW-майнинг, используют хэш-функции. Легко вычислить изображение по исходному изображению, но трудно вычислить исходное изображение по изображению, поэтому любой может легко и быстро проверить правильность вычислений; Для вычисления модели глубокого обучения, благодаря иерархической структуре, выход каждого слоя используется в качестве входа следующего слоя. Поэтому проверка правильности вычислений требует выполнения всей предыдущей работы и не может быть проверена просто и эффективно.

Изображение из: AWS

Проверка работы очень важна, иначе поставщик вычислений может вообще не выполнить вычисление и предоставить случайно сгенерированный результат.

Одна из идей заключается в том, чтобы заставить разные серверы выполнять одни и те же вычислительные задачи и проверить эффективность работы, повторив выполнение и убедившись, что оно одинаково. Однако подавляющее большинство модельных расчетов недетерминированы, и одни и те же результаты не могут быть воспроизведены даже в абсолютно одинаковой вычислительной среде, а могут быть похожи только в статистическом смысле. Кроме того, двойной подсчет приведет к быстрому увеличению расходов, что не соответствует ключевой цели DePIN - сокращению расходов и повышению эффективности.

Другая категория идей - Оптимистический механизм, который оптимистично предполагает, что результат вычисляется правильно, и позволяет любому проверить результат вычислений. Если обнаружены какие-либо ошибки, можно подать заявление о мошенничестве (Fraud Proof). Протокол наказывает мошенника и вознаграждает информатора.

Распараллеливание

Как уже упоминалось, DePIN в основном использует рынок потребительских вычислительных мощностей с длинным хвостом, что означает, что вычислительная мощность, предоставляемая одним устройством, относительно ограничена. Для больших моделей ИИ обучение на одном устройстве займет очень много времени, поэтому для сокращения времени обучения необходимо использовать распараллеливание.

Основная сложность в распараллеливании обучения глубокому обучению заключается в зависимости между предыдущими и последующими задачами, что делает распараллеливание труднодостижимым.

В настоящее время распараллеливание обучения глубокому обучению в основном делится на параллелизм данных и параллелизм модели.

Параллелизм данных относится к распределению данных между несколькими машинами. Каждая машина сохраняет все параметры модели, использует локальные данные для обучения и, наконец, агрегирует параметры каждой машины. Параллелизм данных хорошо работает, когда объем данных велик, но требует синхронной связи для объединения параметров.

Параллелизм моделей означает, что когда размер модели слишком велик, чтобы поместиться на одной машине, модель может быть разбита на несколько машин, и каждая машина сохраняет часть параметров модели. Прямое и обратное распространение требует связи между различными машинами. Параллелизм модели имеет преимущества, когда модель велика, но накладные расходы на обмен данными при прямом и обратном распространении велики.

Информацию о градиенте между различными слоями можно разделить на синхронное обновление и асинхронное обновление. Синхронное обновление является простым и прямым, но оно увеличивает время ожидания; алгоритм асинхронного обновления имеет малое время ожидания, но создает проблемы со стабильностью.

Изображение из: Стэнфордский университет, Параллельное и распределенное глубокое обучение

Конфиденциальность

Глобальная тенденция защиты личной жизни растет, и правительства по всему миру усиливают защиту конфиденциальности персональных данных. Хотя ИИ широко использует наборы открытых данных, то, что действительно отличает различные модели ИИ, - это собственные данные пользователей каждого предприятия.

Как получить преимущества собственных данных во время обучения, не нарушая конфиденциальности? Как гарантировать, что параметры созданной модели ИИ не будут утекать?

Это два аспекта конфиденциальности, конфиденциальность данных и конфиденциальность моделей. Конфиденциальность данных защищает пользователей, а конфиденциальность модели защищает организацию, которая создает модель. В современном сценарии конфиденциальность данных гораздо важнее, чем конфиденциальность моделей.

Для решения проблемы конфиденциальности пытаются использовать различные решения. Федеративное обучение обеспечивает конфиденциальность данных благодаря обучению у источника данных, локальному хранению данных и передаче параметров модели; а доказательство нулевого знания может стать восходящей звездой.

Анализ кейса: Какие высококачественные проекты существуют на рынке?

Gensyn

Gensyn - это распределенная вычислительная сеть, предназначенная для обучения моделей искусственного интеллекта. Сеть использует блокчейн первого уровня на основе Polkadot для проверки правильности выполнения задач глубокого обучения и запуска платежей с помощью команд. Основанная в 2020 году, компания раскрыла раунд финансирования серии А в размере $43 млн. в июне 2023 года, а лидером инвестиций стала компания a16z.

Gensyn использует метаданные процесса оптимизации на основе градиента для создания сертификатов выполненной работы, которые последовательно выполняются многогранным, основанным на графе протоколом точности и перекрестным оценщиком, позволяющим повторно выполнять и сравнивать задания по проверке на согласованность, и, в конечном счете, цепочкой Подтверди это сам, чтобы убедиться в достоверности вычислений. Чтобы еще больше усилить надежность проверки работы, Gensyn вводит стакинг для создания стимулов.

В системе есть четыре типа участников: податели, решатели, проверяющие и разоблачители.

- Сдатчики - это конечные пользователи системы, которые предоставляют задания для вычисления и получают оплату за единицы выполненной работы.
- Решатель - это главный работник системы, выполняющий обучение модели и генерирующий доказательства для проверки верификатором.
- Валидатор - это ключ к тому, чтобы связать недетерминированный процесс обучения с детерминированными линейными вычислениями, воспроизводя доказательства частичных решений и сравнивая расстояния с ожидаемыми пороговыми значениями.
- Разоблачитель - это последняя линия обороны, он проверяет работу верификатора и ставит задачи, а также получает вознаграждение после прохождения задачи.

Разгадывающий должен дать обещание, а разоблачитель проверяет работу разгадывающего. Если он обнаружит зло, он бросит ему вызов. После того, как испытание будет пройдено, жетоны, поставленные решателем, будут оштрафованы, а разоблачитель получит вознаграждение.

По прогнозам Gensyn, это решение позволит сократить расходы на обучение до 1/5 от затрат централизованных провайдеров.

Источник: Gensyn

FedML

FedML - это децентрализованная платформа совместного машинного обучения для децентрализованного и совместного ИИ в любом месте и в любом масштабе. Более конкретно, FedML предоставляет экосистему MLOps, которая обучает, развертывает, контролирует и постоянно совершенствует модели машинного обучения, сотрудничая с объединенными данными, моделями и вычислительными ресурсами в условиях сохранения конфиденциальности. Основанная в 2022 году, компания FedML раскрыла информацию о посевном раунде в размере $6 млн. в марте 2023 года.

FedML состоит из двух ключевых компонентов: FedML-API и FedML-core, которые представляют собой API высокого и API низкого уровня соответственно.

FedML-core включает в себя два независимых модуля: распределенная коммуникация и обучение модели. Модуль коммуникации отвечает за базовое взаимодействие между различными рабочими/клиентами и основан на MPI; модуль обучения модели основан на PyTorch.

FedML-API построен на основе FedML-core. С помощью FedML-core новые распределенные алгоритмы могут быть легко реализованы путем использования клиент-ориентированных интерфейсов программирования.

Последняя работа команды FedML демонстрирует, что использование FedML Nexus AI для вывода моделей искусственного интеллекта на GPU потребительского класса RTX 4090 в 20 раз дешевле и в 1,88 раза быстрее, чем на A100.

от: FedML

Перспективы на будущее: DePIN обеспечивает демократизацию искусственного интеллекта

Однажды ИИ перерастет в AGI, а вычислительная мощность станет фактически универсальной валютой. DePIN позаботится об этом процессе заранее.

Пересечение и сотрудничество ИИ и DePIN открыло совершенно новую точку технологического роста, предоставив огромные возможности для развития искусственного интеллекта. DePIN предоставляет ИИ огромную распределенную вычислительную мощность и данные, что помогает обучать более масштабные модели и достигать более высокого уровня интеллекта. В то же время DePIN позволяет ИИ развиваться в более открытом, безопасном и надежном направлении, уменьшая зависимость от единой централизованной инфраструктуры.

В будущем AI и DePIN будут продолжать развиваться в синергии. Распределенные сети обеспечат прочную основу для обучения сверхбольших моделей, которые будут играть важную роль в приложениях DePIN. Защищая конфиденциальность и безопасность, искусственный интеллект также будет способствовать оптимизации сетевых протоколов и алгоритмов DePIN. Мы с нетерпением ждем, когда ИИ и DePIN принесут более эффективный, справедливый и заслуживающий доверия цифровой мир.

Отказ от ответственности：

1. Эта статья перепечатана с сайта []. Все авторские права принадлежат оригинальному автору[**]. Если у Вас есть возражения против этой перепечатки, пожалуйста, свяжитесь с командой Gate Learn, и они незамедлительно рассмотрят их.
2. Отказ от ответственности: Это
   Мнения и взгляды, выраженные в этой статье, принадлежат исключительно автору и не являются инвестиционным советом.
3. Перевод статьи на другие языки осуществляется командой Gate Learn. Если не указано, копирование, распространение или плагиат переведенных статей запрещены.