Оригинал: Технология Тенсент

За последние несколько лет материнская компания Facebook Meta вложила значительные средства в Metaverse и постоянно работает над разработкой соответствующего аппаратного и программного обеспечения, возможно, даже игнорируя для этой цели последние тенденции в области искусственного интеллекта. Но по мере развития генеративного искусственного интеллекта Мета, казалось, переориентировала компанию и начала прилагать усилия в области искусственного интеллекта. В четверг по местному времени в США компания Meta выпустила два чипа собственной разработки для искусственного интеллекта и рассказала о своих последних достижениях в области суперкомпьютеров искусственного интеллекта.

На виртуальном мероприятии в четверг Meta продемонстрировала внутреннюю инфраструктуру, разработанную для рабочих нагрузок ИИ, включая поддержку запуска генеративного ИИ — новой технологии, которую компания интегрировала в свои недавно запущенные инструменты дизайна и создания рекламы. Это попытка Меты показать свою силу. Ранее компания не спешила внедрять аппаратные системы, совместимые с ИИ, что подрывало ее способность идти в ногу с конкурентами, такими как Google и Microsoft.

«Создание собственных аппаратных возможностей позволяет нам контролировать каждый уровень стека, от проектирования центра обработки данных до учебных сред, — сказал Алексис Бьорлинг, вице-президент Meta по инфраструктуре, — Такой уровень вертикальной интеграции необходим для продвижения исследований ИИ».

За последнее десятилетие или около того Meta потратила миллиарды на найм лучших специалистов по данным и создание новых типов искусственного интеллекта, в том числе искусственного интеллекта, который теперь обеспечивает работу механизма обнаружения, фильтров модерации и рекомендаций по рекламе в своих приложениях и сервисах. Но компания изо всех сил пыталась превратить многие из своих амбициозных инноваций в области исследований ИИ в продукты, особенно когда речь идет о генеративном ИИ.

До 2022 года Meta будет выполнять свои рабочие нагрузки ИИ, используя процессоры и специальные чипы, предназначенные для ускорения алгоритмов ИИ. Но Meta отменила собственный чип, который планировала выпустить в больших масштабах в 2022 году, поскольку для этого потребовалась бы серьезная модернизация нескольких центров обработки данных, и вместо этого заказала графические процессоры Nvidia стоимостью в несколько миллиардов долларов.

Чип ускорителя ИИ

Чтобы изменить ситуацию, Meta планирует приступить к разработке более амбициозного собственного чипа, который должен быть запущен в 2025 году. Этот чип можно использовать для обучения моделей искусственного интеллекта, а также для поддержки их запуска.

Meta называет новый чип Meta Training and Inference Accelerator, или сокращенно MTIA, и классифицирует его как «семейство чипов» для ускорения обучения ИИ и рабочих нагрузок логического вывода. «Вывод» относится к запуску обученной модели. MTIA — это специализированная интегральная схема (ASIC), микросхема, которая объединяет различные схемы на одной печатной плате, что позволяет программировать ее для параллельного выполнения одной или нескольких задач.

Рис. 1. Чипы ИИ, настроенные для рабочих нагрузок ИИ

Бьорлинг продолжил: «Чтобы повысить эффективность и производительность наших важных рабочих нагрузок, нам нужно было специальное решение, которое было разработано совместно с моделью, программным стеком и системным оборудованием, чтобы обеспечить лучший опыт».

Изготовленные на заказ чипы искусственного интеллекта все чаще становятся одним из основных продуктов крупных технологических компаний. Google разработала процессор TPU (Tensor Processing Unit) для обучения больших систем генеративного искусственного интеллекта, таких как PaLM-2 и Imagen. Amazon предоставляет клиентам AWS собственные чипы для обучения (Trainium) и вывода (Inferentia). Сообщается, что Microsoft работает с AMD над собственным чипом искусственного интеллекта под названием «Athena».

Meta заявила, что компания разработала первое поколение MTIA (MTIA v1) в 2020 году и произвела его с использованием 7-нм техпроцесса. Он может расширяться со 128 МБ памяти до 128 ГБ, а в тестах, разработанных Meta, Meta утверждает, что MTIA может обрабатывать модели ИИ «низкой сложности» и «средней сложности» более эффективно, чем графические процессоры.

Мета сказал, что предстоит еще много работы в области памяти чипа и сети, которые остаются узкими местами, поскольку модели ИИ растут в размерах и должны распределять рабочие нагрузки между несколькими чипами. Так совпало, что Meta недавно приобрела расположенную в Осло команду разработчиков сетевых технологий искусственного интеллекта британского чип-единорога Graphcore. В нынешнем виде MTIA сосредоточена на строгом выводе, а не на обучении, на «рекомендационной рабочей нагрузке» для семейства приложений Meta.

Но Meta подчеркнула, что улучшение MTIA «значительно» повысило эффективность компании при выполнении рабочих нагрузок рекомендаций, позволяя Meta запускать «более усовершенствованные» и «передовые» рабочие нагрузки AI.

Суперкомпьютер с искусственным интеллектом

Возможно, когда-нибудь в будущем Meta передаст большую часть своих рабочих нагрузок ИИ MTIA. Но пока гигант социальных сетей полагается на свой исследовательский суперкластер, суперкомпьютер, ориентированный на исследования.

Исследовательский суперкластер дебютирует в январе 2022 года, собран Penguin Computing, Nvidia и Pure Storage, и уже завершен второй этап строительства. По словам Мета, Research SuperCluster теперь содержит в общей сложности 2000 систем Nvidia DGX A100 с 16 000 графических процессоров Nvidia A100.

Так почему же Meta строит суперкомпьютер собственными силами? Во-первых, есть давление со стороны других технологических гигантов. Несколько лет назад Microsoft раскрутила свой суперкомпьютер с искусственным интеллектом, разработанный в сотрудничестве с OpenAI, а недавно заявила, что будет сотрудничать с Nvidia для создания нового суперкомпьютера с искусственным интеллектом в облаке Azure. Между тем, Google также рекламирует свой собственный суперкомпьютер с искусственным интеллектом, который имеет 26 000 графических процессоров Nvidia H100, что намного превосходит суперкомпьютер Meta.

Рисунок 2: Суперкомпьютер Meta для исследований искусственного интеллекта

Но Meta говорит, что в дополнение к тому, что Research SuperCluster не отстает от других коллег, он позволяет своим исследователям использовать реальные примеры из системы Meta для обучения моделей. Это отличается от предыдущей инфраструктуры искусственного интеллекта компании, которая могла использовать только открытые и общедоступные наборы данных.

Представитель Meta сказал: «Суперкомпьютер Research SuperCluster AI используется для продвижения исследований ИИ в нескольких областях, включая генеративный ИИ. На самом деле это тесно связано с продуктивностью исследований ИИ. Предоставление современной инфраструктуры, позволяющей им разрабатывать модели и предоставлять им учебную платформу для дальнейшего развития ИИ».

На своем пике исследовательский суперкластер может достигать 5 экзафлопс вычислительной мощности, что, по утверждению Meta, является одним из самых быстрых компьютеров в мире. Meta говорит, что использует Research SuperCluster для обучения LLaMA, большой языковой модели. Ранее в этом году Meta открыла доступ исследователям к «закрытому выпуску» больших языковых моделей. По словам Мета, самая большая модель LLaMA была обучена на 2048 графических процессорах A100 и заняла 21 день.

«Исследовательский суперкластер поможет исследователям искусственного интеллекта Meta создавать новые и более совершенные модели искусственного интеллекта, которые могут учиться на триллионах примеров, беспрепятственно работая на сотнях разных языков», — сказал представитель Meta.Анализ текста, изображений и видео, разработка новой дополненной реальности инструменты и многое другое».

Транскодер видео

Помимо MTIA, Meta разрабатывает еще один чип для обработки определенных типов вычислительных нагрузок. Этот чип, получивший название Meta Scalable Video Processor, или сокращенно MSVP, представляет собой первое специализированное решение интегральной схемы (ASIC) Meta, разработанное собственными силами и предназначенное специально для удовлетворения требований обработки видео по запросу и потоковой передачи.

Как некоторые помнят, Meta начала разрабатывать собственные видеочипы на стороне сервера несколько лет назад, а в 2019 году анонсировала ASIC для транскодирования и логического вывода видео. MSVP — один из плодов этих усилий и результат возобновившейся конкуренции в сфере потокового вещания.

"Только на Facebook люди тратят 50% своего времени на просмотр видео. Нам нужно обслуживать различные устройства по всему миру (такие как мобильные устройства, ноутбуки, телевизоры и т. д.), например, видео, загруженные на Facebook или Instagram, перекодируются в несколько потоки битов с различными форматами кодирования, разрешениями и качеством, MSVP является программируемым и масштабируемым, и может быть настроен для эффективной поддержки высококачественного транскодирования, необходимого для VOD, а также для низкой задержки и более быстрого времени обработки, необходимых для прямого вещания».

Рис. 3. Собственный кремний Meta предназначен для ускорения рабочих нагрузок, связанных с видео, таких как потоковая передача и транскодирование.

Meta заявила, что план компании состоит в том, чтобы в конечном итоге перенести большую часть своих «стабильных и зрелых» рабочих нагрузок по обработке видео на MSVP, используя программное кодирование видео только для рабочих нагрузок, требующих специальной настройки и «значительно» улучшенного качества. Мета также сказал, что работа MSVP продолжает улучшать качество видео с помощью методов предварительной обработки, таких как интеллектуальное шумоподавление и улучшение изображения, и методов постобработки, таких как удаление артефактов и сверхвысокое разрешение.

«В будущем MSVP позволит нам поддерживать больше наиболее важных вариантов использования и требований Meta, включая короткие видеоролики, обеспечивающие эффективную доставку генеративного искусственного интеллекта, AR / VR и другого контента виртуальной реальности», — сказали Редди и Чен Юньцин.

ИИ-фокус

Если среди последних анонсов аппаратного обеспечения и есть что-то общее, так это то, что Meta отчаянно пытается ускорить темпы развития ИИ, особенно когда речь идет о генеративном ИИ.

В феврале этого года генеральный директор Meta Марк Цукерберг, как сообщалось, сделал улучшение вычислительной мощности ИИ в Meta своим главным приоритетом, объявив о создании новой команды генеративного ИИ высшего уровня, которая, по его словам, предоставит компании «турбозарядка». Мета-технический директор Эндрю Босворт также недавно сказал, что генеративный ИИ — это область, в которой он и Цукерберг проводят больше всего времени. По словам Ян Ликуня, главного научного сотрудника Meta, компания планирует развернуть генеративные инструменты искусственного интеллекта для создания объектов в виртуальной реальности.

В апреле Цукерберг сказал в отчете Meta о прибылях и убытках за первый квартал: «Мы изучаем возможности чата в WhatsApp и Messenger, инструменты визуального создания постов и рекламы в Facebook и Instagram, а также видео с течением времени. И мультимодальный опыт. Я надеюсь, что они инструменты будут ценны для всех, от обычных людей до авторов и предприятий. Например, я предсказываю, что как только мы получим этот опыт, будет много людей, заинтересованных в бизнес-информации Заинтересованность в агентах ИИ в доставке и поддержке клиентов. Со временем это также распространяется на нашу работу в виртуальных мирах, где людям будет проще создавать аватары, объекты, миры и связывать все это воедино кодом».

В некотором смысле Meta чувствует растущее давление со стороны инвесторов, обеспокоенных тем, что компания не движется достаточно быстро, чтобы захватить часть огромного потенциального рынка генеративного искусственного интеллекта. В настоящее время у компании нет продуктов, которые могли бы конкурировать с чат-ботами, такими как Bard, Bing или ChatGPT. Также не было достигнуто большого прогресса в создании изображений, еще одной ключевой области взрывного роста.

Если эти прогнозы верны, общий доступный объем рынка программного обеспечения для генеративного ИИ может достичь 150 миллиардов долларов. Американский инвестиционный банк Goldman Sachs прогнозирует, что это увеличит ВВП на 7%.

Даже если некоторые из прогнозов сбудутся, это может компенсировать потерянные миллиарды инвестиций Metaverse в гарнитуры дополненной реальности, программное обеспечение для конференций и технологии Metaverse, такие как Horizon Worlds. Reality Labs, подразделение дополненной реальности Meta, сообщило о чистых убытках в размере 4 миллиардов долларов в прошлом квартале и ожидает, что операционные убытки продолжат расти в течение 2023 года.