Новая Megabyte система Meta: прорыв в преодолении препятствий для GPT

2023-06-07, 00:51

[//]:content-type-MARKDOWN-DONOT-DELETE
![](https://gimg2.gateimg.com/image/article/1686098682RDZZ.jpeg)
GPT может переводить тексты, обобщать данные и создавать контент, подходящий для различных целей, таких как маркетинг.

Megabyte Meta нацелен на преодоление препятствий, с которыми сталкиваются другие GPT-системы, такие как OpenAI GPT-4 и ChatGPT.

Megabyte отличается от других моделей GPT тем, что в нем не используется токенизация.

Megabyt модель включает в себя локальный Transformer, средство встраивания исправлений и глобальный Transformer.
## Введение
Технологические инновации произвели революцию в том, как люди взаимодействуют и выполняют различные задачи, в том числе личные или деловые. Искусственный интеллект, также называемый машинным обучением, способен выполнять различные действия, такие как написание эссе или составление финансовых планов. В этой статье мы обсуждаем важность генеративного предварительно обученного преобразователя (GPT) в обработке естественного языка и его приложениях. Мы также сосредоточимся на системе Meta Megabyt, которая преодолевает несколько препятствий для GPT.
## Значение GPT в обработке естественного языка
Генеративные предварительно обученные Transformer (GPT) имеют много преимуществ в различных секторах экономики, поскольку они повышают производительность и социальную осведомленность. Во-первых, важно знать, что GPT создают человекоподобные тексты на различную тематику.

GPT используют различные параметры для обработки данных и представления их в удобном для понимания виде. Существуют различные приложения, которые используют GPT для создания ценности для людей и общества в целом.

По сути, GPT являются важными компонентами приложений, управляемых искусственным интеллектом, которые переводят информацию с одного языка на другой. Они также генерируют и обобщают большие объемы данных в виде простой для понимания информации. В некоторых случаях GPT позволяют генерировать контент, подходящий для различных целей, таких как стихи, записи в блогах, научные эссе, маркетинговые материалы и мемы, среди прочего.

Бизнесы также могут использовать GPT для создания чат-ботов и виртуальных помощников, которые могут взаимодействовать с реальными людьми в разговорной манере, помогая им понять различные деловые или социальные аспекты. Для деловых целей они могут генерировать анализ настроений по любой теме или сфере интересов. В качестве примера, существуют протоколы, управляемые искусственным интеллектом, которые генерируют настроения на крипторынке, что позволяет трейдерам и другим инвесторам принимать обоснованные инвестиционные решения.

Другие варианты использования GPT в процессах обработки естественного языка и приложениях искусственного интеллекта включают, среди прочего, создание контента для маркетинговых продуктов, обслуживание клиентов, анализ финансовой информации, а также извлечение данных и составление отчетов.
## Ограничения традиционных моделей GPT
Хотя существуют [различные типы GPT](https://www.gate.io/live/video/90b1e91dd5e7fb207b1509a809e5b444 "различные типы GPT"), созданные на разных платформах, таких как ChatGPT и Openai, большинство из них имеют серьезные ограничения.

Лучшие на сегодняшний день модели генеративного искусственного интеллекта, [включая GPT-4 от OpenAI и ChatGPT](https://www.gate.io/blog_detail/2064/chatgpt-ai-impacts-healthcare-rising-prices-hit-americans-chinas-redistributive-policies-affect-property-developers "включая GPT-4 от OpenAI и ChatGPT"), используют архитектуру Transformer, которая была представлена исследователями Google. Увеличение масштабов самоконтроля и длины вводных и выходных данных создает проблему, поскольку каждое слово требует внимания. В принципе, эта система хорошо работает, когда в качестве входных данных используется несколько слов.

Однако метод Megabyte использует другую архитектуру, которая делит последовательности входных и выходных данных на патчи, а не на токены. Таким образом, он может обрабатывать гораздо больше слов, чем текущие модели.

Кроме того, подход Meta решает проблему масштабируемости, которая является общей для большинства моделей, представленных в настоящее время на рынке. По сути, Megabyte модель позволяет единой сети прямой связи воздействовать на патч, состоящий из нескольких токенов. Таким образом, Megabyte система Meta работает параллельно, а не последовательно. Это повышает его эффективность, даже если базовая модель имеет множество параметров.

Читайте также: [Метавселенная Meta: над чем работает компания?](https://www.gate.io/blog_detail/729/the-meta-metaverse-what-is-the-company-working-on "Метавселенная Meta: над чем работает компания?")

Некоторые модели, такие как глубокие нейронные сети, сложны для понимания и объяснения, что может снизить доверие, подотчетность и вызвать этические проблемы. Следовательно, существует потребность в более простых моделях, таких как Meta Ai, которые легко объяснить. Это связано с тем, что большинство пользователей хотели бы знать, как работает система, чтобы доверять ей.

Другая проблема заключается в том, что для проверки и обучения некоторых из этих моделей требуется много данных. Тем не менее, такие данные могут быть недоступны, что снижает их эффективность. Кроме того, проблемы, связанные с конфиденциальностью, предвзятостью, шумом, безопасностью, а также неполнотой данных, негативно влияют на надежность и производительность большинства моделей GPT.

Большинство традиционных моделей искусственного интеллекта дороги и потребляют много энергии при выполнении вычислений. Это связано с тем, что большинство систем требуют больших вычислительных затрат. Как таковые, они потребляют много ресурсов и увеличивают затраты на охрану окружающей среды.

Кроме того, большинство из этих моделей обладают низкой функциональной совместимостью из-за различий в их стандартизации. Таким образом, им очень трудно интегрироваться, поскольку они используют разные языки, фреймворки и форматы. Однако открытые форматы, такие как ONNX или универсальные компиляторы, могут улучшить их взаимодействие.

Важно понимать, что архитектура Meta AI создана таким образом, чтобы преодолеть большинство из этих проблем.
## Megabyte система Meta
Meta AI разработала новую [GPT-систему под названием Megabyte](https://encord.com/blog/meta-ai-megabyte-model-architecture-explained/ "GPT-систему под названием Megabyte") с целью обойти токенизацию, которую использует большинство моделей GPT. Его система GPT обрабатывает большие объемы данных, таких как видео и тексты, такие как романы, без использования токенизации.

По сути, токенизация функционирует аналогично сжатию файлов путем преобразования больших объемов данных в токены. Преобразователь обрабатывает токены для создания выходных токенов, которые система декодирует.

Обычно токенизация позволяет моделям искусственного интеллекта преобразовывать большие строки данных в числа. Например, система может преобразовать фразу типа “Мой любимый цвет - красный” в символическую строку, такую как 3666, 4004, 3124, 318, 2266, 13” который затем обрабатывается.

Однако при использовании этого метода существует ограничение на объем обрабатываемых данных. Например, ограничение для GPT-3.5 составляет от 3000 до 4000 слов, в то время как для GPT-4 - от 24 000 до 32 000.

Напротив, [Meta](https://www.gate.io/ja/blog_detail/308/why-is-meta-previously-facebook-betting-big-on-metaverse "Meta") отказалась от токенизации в пользу новой архитектуры многоуровневого прогнозирования, которая зависит от сквозного моделирования более миллиона байт данных. Это большое достижение, учитывая, что он может обрабатывать документ, состоящий из 750 000 слов. Это означает, что Megabyte система может обрабатывать данные, содержащиеся в трех романах среднего размера.

Как уже отмечалось, Megabyte преодолевает препятствия токенизации, возникающие из-за жестких ограничений данных, большого времени, необходимого для обучения систем, и высокого энергопотребления. Кроме того, без токенизации можно обучить модели искусственного интеллекта поддерживать неанглийские языки, которые могут быть закодированы, например, стандартными 8-битными символами.

Искусственный интеллект Meta crypto AI расширит существующие возможности по мере дальнейшей демократизации различных блокчейн-технологий. Например, разработчики могут внедрить ботов для торговли криптовалютами на своих родных языках, таких как русский или французский. Что еще более важно, децентрализованные автономные организации (DAO) также могут кодировать свои протоколы на местных языках.
## Как работает система Meta Megabyte
Архитектура многомасштабного декодера Megabyte моделирует последовательности длиной более 1 миллиона байт, сохраняя при этом сквозную дифференцируемость. Он использует многомасштабные преобразователи, которые включают в свою архитектуру различные уровни, тем самым моделируя как глобальные, так и локальные закономерности в данных.

По сути, Megabyte модель состоит из трех компонентов, а именно локального модуля, средства встраивания исправлений и глобального модуля (глобальный Transformer).Локальный модуль, также называемый локальным преобразователем, предсказывает байты внутри каждого патча, в то время как встраиватель отвечает за кодирование патчей путем объединения байтовых вложений. Наконец, глобальный модуль, также известный как глобальный Transformer, вводит и выводит различные представления патчей.

На следующей диаграмме показан общий обзор Megabyte.
![](https://gimg2.gateimg.com/image/article/1686098917Meta%201.png)
На приведенной выше диаграмме показаны некоторые ключевые компоненты Megabyte. Недавний эксперимент показал, что Megabyte может быть на 40% быстрее, чем модель Transformer. Однако важно отметить, что Megabyte, использованный в ходе эксперимента, содержал 1,5 миллиарда параметров, в то время как у Transformer было 350 миллионов.

В целом, Megabyte имеет ряд преимуществ перед традиционными Transformer. Например, это снижает вычислительные затраты на самоаттестацию, что позволяет обрабатывать длинные последовательности.

Во-вторых, он использует слои прямой связи для каждого пути, а не для каждой позиции, что приводит к эффективному использованию вычислительных ресурсов.

Кроме того, это повышает параллелизм во время обработки, что приводит к более быстрому генерированию последовательностей при сохранении высокой производительности.

Megabyte архитектура улучшает масштабируемость, снижает потребление ресурсов и обеспечивает бесперебойную связь с различными приложениями на базе GPT. Некоторые из этих преимуществ достигаются за счет разделения длинных последовательностей на две более короткие, что сводит к минимуму затраты на самоконтроль. Кроме того, совместное использование параметров и алгоритмы сжатия сводят к минимуму требования к ресурсам GPT.
## Вывод
Meta Megabyte использует генеративную предварительно обученную систему transformer для обработки больших объемов данных без использования токенизации. Вместо этого он использует многоуровневую архитектуру прогнозирования, которая минимизирует затраты, повышает скорость, повышает эффективность, а также увеличивает масштабируемость и интероперабельность.

Автор: Mashell C., Аналитик Gate.io
Эта статья отражает только точку зрения исследователя и не представляет собой каких-либо инвестиционных предложений.
Gate.io оставляет за собой все права на эту статью. Перепечатка статьи будет разрешена при условии ссылки на Gate.io. Во всех случаях будет предпринят судебный иск в связи с нарушением авторских прав.