Я не избавился от этого большого промаха.

Это по-прежнему преследует меня, потому что это была самая очевидная ставка для тех, кто обращал внимание, но я не вложил ни одного доллара.

Нет, это не был следующий убийца Соланы или мемекоин с собакой в смешной шляпе.

Это была… NVIDIA.

NVDA цена акций с начала года. Источник: Google

За один год NVDA выросла в 3 раза, поднявшись с рыночной капитализацией $1T до $3T. Она даже превзошла биткойн за тот же период.

Конечно, часть из этого - это хайп вокруг искусственного интеллекта. Но огромная часть этого основана на реальности. NVIDIA сообщила о доходах в размере 60 миллиардов долларов США за финансовый год 2024 года, что является потрясающим увеличением на 126% по сравнению с 2023 годом. Этот рост был обусловлен тем, что крупные технологические компании скупают GPU в мировой гонке за AGI.

Итак, почему я это пропустил?

Два года я был сосредоточен исключительно на криптовалюте и не обращал внимания на то, что происходило в области искусственного интеллекта. Это была большая ошибка, и она до сих пор гложет меня.

Но я не делаю ту же ошибку во второй раз.

Сегодня Crypto AI вызывает жуткое чувство дежавю. Мы на грани взрыва инноваций. Параллели с золотой лихорадкой в Калифорнии середины 19 века трудно игнорировать — промышленность и города взошли за одну ночь, инфраструктура развивалась на ошеломляющей скорости, и состояния были сделаны теми, кто осмелился прыгнуть.

Как и NVIDIA в ее ранние дни, Crypto AI будет казаться очевидным впоследствии.

В Часть I моей диссертации, Я объяснил, почему Крипто AI сегодня является самой захватывающей возможностью для инвесторов и строителей.

Вот краткое повторение:

• Многие по-прежнему относятся к этому как к “воздушному замку”.
• Крипто ИИ находится в своем раннем цикле, вероятно, 1-2 года до пика пиара.
• В этой области есть возможность роста не менее $230 млрд.

В своей основе Crypto AI является искусственным интеллектом с криптовалютной инфраструктурой, сложенной сверху. Это означает, что она скорее будет отслеживать экспоненциальный рост траектории искусственного интеллекта, чем широкий криптовалютный рынок. Так что, чтобы оставаться впереди, вам нужно настраиваться на последние исследования по искусственному интеллекту на Arxiv и общаться с основателями, которые считают, что они создают следующий большой проект.

Во второй части моей диссертации я рассмотрю четыре наиболее перспективных подсектора в области Крипто ИИ:

1. Децентрализованные вычисления: обучение, вывод и рынки графических процессоров
2. Сети передачи данных
3. Проверяемый искусственный интеллект
4. ИИ-агенты, живущие на цепи

Этот материал является результатом нескольких недель глубокого исследования и бесед с основателями и командами в сфере Crypto AI. Он не предназначен для подробного рассмотрения каждого сектора - это занятие на другой день.

Вместо этого рассматривайте его как общую дорожную карту, созданную для пробуждения любопытства, улучшения исследований и направления мыслей об инвестициях.

Картирование ландшафта

Я представляю себе децентрализованный стек искусственного интеллекта как слоистую экосистему: он начинается с децентрализованных вычислений и открытых сетей данных с одной стороны, которые обеспечивают обучение моделей децентрализованного искусственного интеллекта.

Каждое заключение затем проверяется — как входы, так и выходы — с использованием комбинации криптографии, криптоэкономических стимулов и сетей оценки. Эти проверенные результаты поступают в ИИ-агенты, которые могут работать автономно на цепи, а также в потребительских и корпоративных приложениях искусственного интеллекта, которым пользователи действительно могут доверять.

Сети координации связывают все вместе, обеспечивая безшовное взаимодействие и сотрудничество в экосистеме.

В этом видении любой, кто строит в области искусственного интеллекта, может использовать один или несколько уровней этого стека в зависимости от своих конкретных потребностей. Будь то использование децентрализованных вычислений для обучения моделей или использование сетей оценки для обеспечения высококачественных результатов, этот стек предлагает ряд вариантов.

Благодаря врожденной композиционности блокчейна, я считаю, что мы естественным образом движемся в сторону модульного будущего. Каждый уровень становится гипер-специализированным, с протоколами, оптимизированными для отдельных функций, а не для все-в-одном интегрированного подхода.

Источник: topology.vc

Произошло кембрийское взрыво стартапов, строящих на каждом уровне децентрализованной стека искусственного интеллекта, большинство из которых основаны всего лишь в последние 1-3 года. Это очевидно: мы все еще на ранней стадии.

Самая полная и актуальная карта стартап-ландшафта Crypto AI, которую я видел, поддерживается Кейси и ее командой в topology.vc. Это бесценный ресурс для тех, кто отслеживает эту сферу.

Когда я погружаюсь в субсекторы Crypto AI, я постоянно задаю себе вопрос: насколько велика здесь возможность? Меня не интересуют маленькие ставки - я ищу рынки, которые могут масштабироваться до сотен миллиардов.

1. Размер рынка

Давайте начнем с размера рынка. Оценивая подсектор, я спрашиваю себя: создает ли он совершенно новый рынок или нарушает существующий?

Возьмем, например, децентрализованные вычисления. Это разрушительная категория, потенциал которой можно оценить, взглянув на установленный рынок облачных вычислений стоимостью ~$680B сегодняи ожидается достичь $2.5T в 2032 году.

Новые рынки, не имеющие прецедентов, такие как агенты ИИ, сложнее поддаются количественной оценке. Без исторических данных их оценка включает в себя смесь обоснованных догадок и интуиции о проблемах, которые они решают. И подводный камень заключается в том, что иногда то, что выглядит как новый рынок, на самом деле является просто решением, ищущим проблему.

2. Тайминг

Все зависит от времени. Технологии обычно улучшаются и становятся дешевле со временем, но темпы прогресса различаются.

Насколько зрела технология в конкретном подсекторе? Готова ли она к масштабированию, или все еще находится в фазе исследований, с практическими применениями через несколько лет? Время определяет, заслуживает ли сектор немедленного внимания или его следует оставить в категории “подождать и посмотреть”.

Возьмем полностью гомоморфное шифрование (FHE) в качестве примера: его потенциал неоспорим, но сегодня оно все еще слишком медленно для широкого использования. Вероятно, нам еще несколько лет ждать, чтобы увидеть его в широком использовании. Сосредотачиваясь сначала на секторах, близких к масштабированию, я могу тратить свое время и энергию там, где растет моментум и возникают возможности.

Если бы я должен был отобразить эти категории на графике размера по отношению ко времени, это выглядело бы примерно так. Имейте в виду, что это скорее концептуальный набросок, чем жесткое руководство. Здесь есть много тонкостей, например, в предмете подтверждаемого вывода различные подходы, такие как zkML и opML, находятся на разных уровнях готовности к использованию.

Сказанное это, я уверен, что масштаб искусственного интеллекта будет настолько огромным, что даже то, что сегодня кажется “узким”, может превратиться в значительный рынок.

Важно отметить, что технологический прогресс не всегда происходит по прямой линии, часто он происходит скачками. Мои взгляды на время и размер рынка изменятся, когда появятся новые прорывы.

С учетом этой структуры давайте разберем каждый подсектор.

Сектор 1: Децентрализованный вычислительный

TL;dr

• Децентрализованные вычисления - основа децентрализованного искусственного интеллекта.
• Рынки GPU, децентрализованный тренинг и децентрализованный вывод тесно связаны и процветают вместе.
• Сторона предложения обычно поступает из малых и средних центров обработки данных и графических процессоров для потребителей.
• Спрос небольшой, но растущий. Сегодня он исходит от пользователей, чувствительных к цене, но не чувствительных к задержкам, и малых стартапов в области искусственного интеллекта.
• Самая большая проблема для рынков GPU Web3 сегодня - это их фактическая работоспособность.
• Организация графических процессоров по всей децентрализованной сети требует передовой инженерии и хорошо спроектированной, надежной сетевой архитектуры.

1.1. Рынки графических процессоров / Вычислительные сети

Несколько команд Crypto AI позиционируют себя так, чтобы воспользоваться нехваткой графических процессоров по сравнению с спросом, создавая децентрализованные сети, которые используют глобальный потенциал замедленной вычислительной мощности.

Основное предложение ценности для рынков GPU имеет три аспекта:

1. Вы можете получить доступ к вычислениям “до 90% дешевле”, чем у AWS, что происходит (1) за счет удаления посредников и (2) открытия стороны предложения. По сути, эти рынки позволяют вам использовать самую низкую предельную стоимость вычислений в мире.
2. Большая гибкость: отсутствие контрактов с блокировкой, отсутствие KYC, отсутствие времени ожидания.
3. Сопротивление цензуре

Для решения проблемы снабжения на рынке эти рынки получают вычисления из:

• GPU предприятий класса (например, A100s, H100s) от небольших и средних центров обработки данных испытывают трудности с поиском спроса самостоятельно или майнеры биткойнов, стремящиеся диверсифицировать свою деятельность. Также я знаю о командах, которые используют крупные правительственные инфраструктурные проекты, в рамках которых строятся центры обработки данных в рамках инициатив по развитию технологий. Часто эти поставщики получают стимулы для подключения своих GPU к сети, что помогает им компенсировать амортизационные расходы на свои GPU.
• Потребительские GPU от миллионов игроков и домашних пользователей, которые подключают свои компьютеры к сети в обмен на токенные поощрения

С другой стороны, спрос на децентрализованные вычисления сегодня исходит из:

1. Пользователи, чувствительные к цене, нечувствительные к задержке. Этот сегмент ставит экономичность выше скорости. Представьте себе исследователей, изучающих новые области, независимых разработчиков искусственного интеллекта и других экономически осознанных пользователей, которым не требуется обработка в реальном времени. Из-за ограничений бюджета многие из них могут столкнуться с проблемами при работе с традиционными гипермасштабируемыми платформами, такими как AWS или Azure. Поскольку они довольно равномерно распределены среди населения, нацеленный маркетинг является важным для привлечения этой группы на борт.
2. Меньшие стартапы в области искусственного интеллекта сталкиваются с трудностями в обеспечении гибких, масштабируемых вычислительных ресурсов без заключения долгосрочных контрактов с крупными облачными провайдерами. Развитие бизнеса имеет важное значение для привлечения этого сегмента, поскольку они активно ищут альтернативы привязке к гипермасштабированию.
3. Стартапы Crypto AI, строящие децентрализованные продукты искусственного интеллекта, но не имеющие собственного запаса вычислительных ресурсов, должны будут обратиться к ресурсам одной из этих сетей.
4. Облачный гейминг: хотя он не является прямым продуктом искусственного интеллекта, облачный гейминг становится возрастающим источником спроса на ресурсы GPU.

Важно помнить: разработчики всегда отдают предпочтение затратам и надежности.

Реальный вызов: спрос, а не предложение

Стартапы в этой области часто превозносят размер своих сетей поставок GPU как признак успеха. Но это вводит в заблуждение - это, в лучшем случае, метрика тщеславия.

Реальным ограничением является не предложение, а спрос. Ключевыми показателями для отслеживания не являются количество доступных графических процессоров, а скорее уровень использования и количество фактически сданных в аренду графических процессоров.

Токены отлично справляются с созданием стороны предложения, создавая необходимые стимулы для быстрого масштабирования. Однако они не решают в себе проблему спроса. Настоящий тест заключается в достижении достаточного уровня продукта, чтобы скрытый спрос проявился.

Хасиб Куреши (Драгонфлай) делает лучшее:

Делаем вычислительные сети действительно работающими

Вопреки распространенному мнению, самым большим препятствием для децентрализованных рынков GPU web3 сегодня является просто правильная работа с ними.

Это не тривиальная проблема.

Оркестрация GPUs в распределенной сети сложна, с множеством проблем - распределение ресурсов, масштабирование динамической нагрузки, балансировка нагрузки между узлами и GPUs, управление задержкой, передача данных, устойчивость к сбоям и работа с различным оборудованием, распределенным по разным географическим местам. Я могу продолжать и продолжать.

Для достижения этого требуется серьезная инженерная разработка и надежная, правильно спроектированная сетевая архитектура.

Чтобы поставить это в перспективу, рассмотрим Kubernetes от Google. Он широко признан золотым стандартом для оркестровки контейнеров, автоматизируя процессы, такие как балансировка нагрузки и масштабирование в распределенных средах - очень похожие задачи на те, с которыми сталкиваются распределенные сети GPU. Сам Kubernetes был создан на основе более чем десятилетнего опыта Google, и даже тогда понадобилось несколько лет беспощадной итерации, чтобы довести его до совершенства.

Некоторые рынки вычислительных мощностей GPU, которые уже сегодня работают, могут справиться с небольшими рабочими нагрузками, но проблемы начинаются, как только они пытаются масштабироваться. Предполагаю, что это происходит из-за плохо спроектированных архитектурных основ.

Еще одной проблемой/возможностью для децентрализованных вычислительных сетей является обеспечение надежности: проверка того, что каждый узел действительно предоставляет объявленную вычислительную мощность. В настоящее время это зависит от репутации сети, и в некоторых случаях поставщики вычислительных услуг ранжируются по оценкам репутации. Блокчейн кажется естественным решением для систем бездоверительной верификации. Стартапы, подобные GensynиСферонстремятся к доверительному подходу к решению этой проблемы.

Сегодня многие команды web3 все еще сталкиваются с этими проблемами, что означает, что возможность широко открыта.

Размер рынка децентрализованных вычислений

Каков рынок децентрализованных вычислительных сетей?

Сегодня, вероятно, это всего лишь крошечная доля от $680 млрд - $2,5 трлн. Облачной вычислительной индустрии. Тем не менее, несмотря на дополнительное трение для пользователей, всегда будет спрос, пока затраты остаются ниже, чем у традиционных поставщиков.

Я верю, что издержки останутся низкими в ближайшей и среднесрочной перспективе из-за смеси токеновых субсидий и освобождения предложения от пользователей, которые нечувствительны к ценам (например, если я могу сдавать в аренду свой игровой ноутбук за дополнительные деньги, мне все равно, 20 долларов или 50 долларов в месяц).

Но настоящий потенциал роста для децентрализованных вычислительных сетей - и настоящее расширение их TAM - придет, когда:

1. Децентрализованное обучение моделей искусственного интеллекта становится практичным
2. Спрос на выводы взрывается, и существующие центры обработки данных не в состоянии удовлетворить его. Это уже начинает проявляться. Дженсен Хуанг говорит, что спрос на выводы будетувеличить «в миллиард раз».
3. Стандартные соглашения об уровне обслуживания (SLA) становятся доступными, устраняя критический барьер для принятия предприятием. В настоящее время, децентрализованные вычисления работают по принципу наилучших усилий, оставляя пользователей с разными уровнями качества обслуживания (например, % времени работы). С наличием SLA эти сети могут предложить стандартизированные показатели надежности и производительности, сделав децентрализованные вычисления жизнеспособной альтернативой традиционным провайдерам облачных вычислений.

Децентрализованные, безразрешительные вычисления стоят в основе - базовая инфраструктура - для децентрализованной экосистемы искусственного интеллекта.

Несмотря на непрерывное расширение поставочной цепи для кремния (т.е. ГПУ), я считаю, что мы только на рассвете эры Интеллекта человечества. Будет неутолимый спрос на вычисления.

Следите за точкой перелома, которая может вызвать значительное переоценку всех работающих рынков GPU. Скорее всего, она придет скоро.

Другие заметки:

• Рынок видеокарт чистых игр переполнен конкуренцией среди децентрализованных платформ и также возникновение веб2 ИИ небооблаковкак Vast.ai и Lambda.
• Небольшие узлы (например, 4 x H100) не в большом спросе из-за их ограниченного использования, но удачи найти кого-то, кто продает большие кластеры - они все еще в серьезном спросе.
• Сможет ли доминирующий игрок агрегировать всю вычислительную мощность для децентрализованных протоколов, или она останется раздробленной среди нескольких рынков? Я склоняюсь к первому варианту и к степенному распределению результатов, поскольку консолидация часто способствует эффективности инфраструктуры. Но это займет время, чтобы проявиться, а пока раздробленность и беспорядок продолжаются.
• Разработчики хотят сосредоточиться на создании приложений, а не заниматься развертыванием и настройкой. Маркетплейсы должны абстрагировать эти сложности, сделав доступ к вычислениям максимально бесперебойным.

1.2. Децентрализованное обучение

TL;dr

• Если держатся законы масштабирования, то обучение следующего поколения фронтовых моделей искусственного интеллекта в одном дата-центре однажды станет невозможным физически.
• Для обучения моделей искусственного интеллекта требуется большой объем передачи данных между графическими процессорами (GPU). Низкая скорость передачи данных (межсоединение) между распределенными GPU часто является самым большим барьером.
• Исследователи одновременно исследуют несколько подходов, и происходят прорывы (например, Open DiLoCo, DisTrO). Эти достижения будут накапливаться и ускорять прогресс в этой области.
• Будущее децентрализованного обучения, скорее всего, заключается в более маленьких, специализированных моделях, предназначенных для узкоспециализированных приложений, а не для фронтовых моделей, ориентированных на ИИ общего назначения.
• Спрос на вывод готов взлететь в связи с переходом на модели, такие как o1 от OpenAI, что создает возможности для децентрализованных сетей вывода.

Представьте себе: огромная, мироизменяющая модель искусственного интеллекта, не разработанная в секретных элитных лабораториях, а оживленная миллионами обычных людей. Геймеры, чьи графические процессоры обычно воспроизводят кинематографические взрывы из Call of Duty, теперь предоставляют своё оборудование для чего-то более великого - открытой, коллективно владимой модели искусственного интеллекта без центральных воротников.

В этом будущем модели масштаба фонда не являются прерогативой только лучших лабораторий искусственного интеллекта.

Но давайте основывать эту визию на сегодняшней реальности. В настоящее время основная часть тренировки тяжелого искусственного интеллекта остается привязанной к централизованным центрам обработки данных, и это, вероятно, будет нормой на некоторое время.

Компании, такие как OpenAI, масштабируют свои огромные кластеры. Недавно Илон Маск объявленото xAI приближается к завершению центра обработки данных с эквивалентом 200 000 видеокарт H100.

Но дело не только в количестве GPU. Использование FLOPS модели (MFU) - это метрика, введенная в Статья PaLM от Googleв 2022 году отслеживает, насколько эффективно используется максимальная мощность GPU. Удивительно, что MFU часто колеблется в пределах 35-40%.

Почему так низко? В то время как производительность GPU взлетела за последние годы в соответствии с законом Мура, сетевые, память и улучшения хранения значительно отстают, создавая узкие места. В результате GPU часто простаивают, ожидая данных.

Обучение искусственного интеллекта до сих пор остается высоко централизованным из-за одного слова - Эффективность.

Обучение больших моделей зависит от таких техник, как:

• Параллелизм данных: Разделение наборов данных на несколько GPU для выполнения операций параллельно, ускоряющее процесс обучения.

• Модельное параллелизм: Распределение частей модели по графическим процессорам для обхода ограничений памяти.

Эти методы требуют постоянного обмена данными между графическими процессорами (GPU), поэтому скорость межсоединения - скорость передачи данных между компьютерами в сети - является абсолютно необходимой.

Когда обучение модели искусственного интеллекта на фронтире может стоить более $1 млрд, каждое улучшение эффективности имеет значение.

С помощью своих высокоскоростных соединений централизованные центры обработки данных обеспечивают быструю передачу данных между графическими процессорами и создают существенную экономию затрат во время обучения, которую децентрализованные настройки не могут сопоставить… пока.

Преодоление медленной скорости межсоединения

Если вы поговорите с людьми, работающими в сфере ИИ, многие скажут вам, что децентрализованное обучение просто не будет работать.

В децентрализованных настройках кластеры GPU физически не соседствуют, поэтому передача данных между ними намного медленнее и становится узким местом. Для обучения требуется синхронизация и обмен данными между GPU на каждом этапе. Чем дальше они находятся друг от друга, тем выше задержка. Большая задержка означает медленную скорость обучения и более высокие затраты.

Что может занять несколько дней в централизованном центре обработки данных, может растянуться до двух недель с децентрализованным подходом при более высокой стоимости. Это просто невозможно.

Но это должно измениться.

Хорошая новость заключается в том, что наблюдается огромный всплеск интереса к исследованиям в области распределенного обучения. Исследователи одновременно изучают несколько подходов, как показывает буря статей и опубликованных работ. Эти достижения будут накапливаться и ускорять прогресс в этой области.

Это также о тестировании в производстве и оценке того, насколько мы можем продвинуть границы.

Некоторые децентрализованные методики обучения уже могут обрабатывать более мелкие модели в медленных средах межсоединения. Теперь фронтовые исследования нацелены на расширение этих методов на все более крупные модели.

• Например, Prime Intellect’s открыть бумагу DiCoLoдемонстрирует практический подход, который включает в себя «острова» графических процессоров, выполняющих 500 локальных шагов перед синхронизацией, снижая требования к пропускной способности до 500 раз. То, что началось как исследование Google DeepMind по более маленьким моделям, сейчас масштабируется для обучения модели с 10 миллиардами параметров в ноябре, и полностью открыто сегодня.
• Ноус Исследованияподнимает планку с помощью своей рамки DisTrO, которая использует оптимизаторы для достижения потрясающего снижения требований к меж-GPU коммуникации на уровне до 10 000 раз при обучении модели с 1,2 млрд параметров.
• И импульс продолжает нарастать. В декабре Nous объявила о предварительном обучении модели с 15 миллиардами параметров с кривой потерь (как уменьшается ошибка модели со временем) и скоростью сходимости (скорость стабилизации производительности модели), которые соответствуют или превосходят результаты, обычно наблюдаемые при централизованных настройках обучения. Да, лучше, чем централизованные.
• Параллелизм SWARM и DTFMHE - другие методы обучения очень больших моделей искусственного интеллекта на различных типах устройств, даже если у этих устройств различные скорости и соединения.

Еще одним вызовом является управление разнообразным ассортиментом GPU-оборудования, включая GPU для потребителей с ограниченным объемом памяти, которые типичны для децентрализованных сетей. Техники, такие как параллелизм модели (разделение слоев модели между устройствами), могут помочь сделать это выполнимым.

Будущее децентрализованного обучения

Нынешние децентрализованные методы обучения по-прежнему ограничены размерами моделей значительно ниже границ (GPT-4, как сообщается, имеет почти триллион параметров, что в 100 раз больше, чем модель Prime Intellect 10B). Чтобы по-настоящему масштабироваться, нам потребуются прорывы в архитектуре моделей, улучшенная сетевая инфраструктура и более интеллектуальное разделение задач между устройствами.

И мы можем мечтать по-крупному. Представьте мир, где децентрализованное обучение объединяет больше вычислительной мощности GPU, чем крупнейшие центры обработки данных когда-либо могли бы собрать.

Исследования Pluralisостроумная команда в децентрализованном обучении, одна из тех, которых стоит внимательно следить, утверждает, что это не просто возможно — это неизбежно. Централизованные центры обработки данных ограничены физическими ограничениями, такими как пространство идоступность электроэнергии, в то время как децентрализованные сети могут использовать фактически бесконечный пул глобальных ресурсов.

Даже Дженсен Хуанг из NVIDIA признался, чтоасинхронное децентрализованное обучениеможет разблокировать истинный потенциал масштабирования искусственного интеллекта. Распределенные сети обучения также более устойчивы к сбоям.

Таким образом, в одном потенциальном будущем, самые мощные модели искусственного интеллекта в мире будут обучаться децентрализованным образом.

Это захватывающая перспектива, но я еще не полностью убежден. Нам нужны более убедительные доказательства того, что децентрализованное обучение самых больших моделей является технически и экономически целесообразным.

Вот где я вижу огромный потенциал: слабое место децентрализованного обучения может заключаться в более мелких, специализированных моделях с открытым исходным кодом, предназначенных для целевых случаев использования, а не в конкуренции с ультра-большими моделями AGI. Определенные архитектуры, особенно не-трансформерные модели, уже доказывают свою естественную пригодность для децентрализованных настроек.

И есть еще один кусочек этой головоломки: токены. Как только децентрализованное обучение станет возможным в масштабе, токены могут сыграть ключевую роль в поощрении и вознаграждении участников, эффективно запуская эти сети.

Дорога к этой цели долгая, но прогресс весьма обнадеживающий. Преимущества децентрализованного обучения будут выгодны для всех, даже для крупных технологических компаний и лабораторий искусственного интеллекта высшего уровня, поскольку масштаб будущих моделей превысит возможности одного центра обработки данных.

Будущее распределено. И когда технология имеет такой широкий потенциал, история показывает, что она всегда становится лучше и быстрее, чем кто-либо ожидает.

1.3. Децентрализованный вывод

В настоящее время большая часть вычислительной мощности в области искусственного интеллекта направлена на тренировку массовых моделей. Лучшие лаборатории искусственного интеллекта вступили в гонку вооружений для разработки лучших фундаментальных моделей и в конечном итоге достижения общего искусственного интеллекта.

Но вот моё мнение: эта интенсивная вычислительная направленность на обучение будет смещаться к выводу в ближайшие годы. Поскольку искусственный интеллект становится все более встроенным в приложения, которые мы используем ежедневно - от здравоохранения до развлечений - вычислительные ресурсы, необходимые для поддержки вывода, будут ошеломляющими.

И это не только спекуляции. Масштабирование вычислений во время вывода - последнее модное слово в области искусственного интеллекта. Недавно OpenAI выпустила предварительную/мини-версию своей последней модели, o1 (кодовое название: Strawberry), и главное изменение? Он тратит время на размышления, сначала задавая себе вопрос, какие шаги следует предпринять, чтобы ответить на вопрос, а затем проходя через каждый из этих шагов.

Эта модель предназначена для более сложных, требующих тщательного планирования задач — например, решение кроссвордов—и решает проблемы, требующие более глубокого мышления. Вы заметите, что он работает медленнее, требует больше времени для генерации ответов, но результаты гораздо более вдумчивые и тонкие. Также его запуск обходится гораздо дороже ( 25x стоимости GPT-4)

Перемена фокуса очевидна: следующий скачок в производительности искусственного интеллекта не произойдет только за счет тренировки более крупных моделей, но и за счет увеличения использования вычислений во время вывода.

Если вы хотите прочитать больше, несколько исследованийбумагипродемонстрировать:

• Масштабирование вычислений вывода через повторное выборочное процедурное проведение приводит к значительным улучшениям в различных задачах.
• Существует экспоненциальный закон масштабирования для вывода также.

После того как мощные модели обучены, их задачи вывода—когда модели что-то делают—могут быть переданы на децентрализованные вычислительные сети. Это имеет такой большой смысл, потому что:

• Инференция требует гораздо меньше ресурсов, чем обучение. После обучения модели можно сжимать и оптимизировать с использованием таких техник, как квантование, обрезка или дистилляция. Их даже можно разбить с помощью параллелизма тензоров или конвейеров, чтобы запускать на устройствах обычного потребителя. Вам не нужна высокопроизводительная GPU для обеспечения выполнения вывода.
• Это уже происходит.Exo Labsвыяснил, как запустить модель Llama3 с 450B-параметрами на оборудовании потребительского класса, таком как MacBook и Mac Mini. Распределение логических выводов между многими устройствами позволяет эффективно и экономично справляться даже с крупномасштабными рабочими нагрузками.
• Лучший пользовательский опыт. Выполнение вычислений ближе к пользователю сокращает задержку, что критично для приложений в реальном времени, таких как игры, AR или автономные автомобили. Каждая миллисекунда имеет значение.

Подумайте о децентрализованном выводе как о CDN (сети доставки контента) для ИИ: вместо того, чтобы быстро доставлять веб-сайты, подключаясь к ближайшим серверам, децентрализованный логический вывод использует локальные вычислительные мощности для предоставления ответов ИИ в рекордно короткие сроки. Благодаря децентрализованному логическому выводу приложения ИИ становятся более эффективными, отзывчивыми и надежными.

Тенденция ясна. Новый чип M4 Pro от Apple конкурент NVIDIARTX 3070 Ti - графический процессор, который до недавнего времени был владением усердных геймеров. Уже имеющееся у нас оборудование все более способно справляться с продвинутыми нагрузками искусственного интеллекта.

Крипто’s Value-Add

Для успешного функционирования децентрализованных сетей вывода должны существовать убедительные экономические стимулы для участия. Узлы в сети должны быть вознаграждены за свой вклад в вычисления. Система должна обеспечить справедливое и эффективное распределение вознаграждений. Географическое разнообразие является необходимым, что позволяет снизить задержку для задач вывода и повысить устойчивость к сбоям.

И лучший способ построить децентрализованные сети? Крипто.

Токены предоставляют мощный механизм для согласования интересов участников, обеспечивая, что все работают в направлении одной цели: масштабирование сети и увеличение стоимости токена.

Токены также ускоряют рост сети. Они помогают решить классическую проблему курицы и яйца, которая затрудняет большинство сетей, награждая ранних принимающих и стимулируя участие с первого дня.

Успех биткойна и эфира доказывает этот факт - они уже объединили самые большие пулы вычислительной мощности на планете.

Децентрализованные сети вывода следующие в очереди. С географическим разнообразием они снижают задержку, улучшают устойчивость к сбоям и приближают искусственный интеллект к пользователю. И благодаря крипто-движущими силами они будут масштабироваться быстрее и лучше, чем когда-либо могли традиционные сети.

Отказ от ответственности:

1. Эта статья взята из [[](https://www.chainofthought.xyz/p/our-crypto-ai-thesis-part-ii-decentralised-compute)[Цепочка мыслей](https://www.chainofthought.xyz/)\]. Все авторские права принадлежат оригинальному автору [Тэн Ян]. Если есть возражения против этой перепечатки, пожалуйста, свяжитесь с Gate Learnкоманда, и они незамедлительно разберутся с этим.
2. Ответственность за отказ: Взгляды и мнения, выраженные в этой статье, являются исключительно мнением автора и не являются инвестиционным советом.
3. Переводы статьи на другие языки выполняются командой gate Learn. Если не указано иное, копирование, распространение или плагиат переведенных статей запрещены.