Оригінал: Tencent Technology

За останні кілька років материнська компанія Facebook Meta інвестувала значні кошти в Metaverse і постійно працювала над розробкою відповідного апаратного та програмного забезпечення, можливо, навіть ігноруючи останні тенденції в галузі штучного інтелекту для цієї мети. Але коли генеративний штучний інтелект вибухнув, Meta, здавалося, переорієнтувала компанію та почала докладати зусиль у сфері штучного інтелекту. У четвер за місцевим часом у Сполучених Штатах Meta випустила два чіпи власної розробки для штучного інтелекту та показала свій останній прогрес у суперкомп’ютерах зі штучним інтелектом.

На віртуальному заході в четвер Meta продемонструвала внутрішню інфраструктуру, яку вона розробила для робочих навантажень штучного інтелекту, включаючи підтримку запуску генеративного штучного інтелекту, нової технології, яку компанія інтегрувала в свої нещодавно запущені інструменти для дизайну та створення реклами. Це спроба Мети показати свою силу. Раніше компанія повільно впроваджувала апаратні системи, зручні для ШІ, що підривало її здатність йти в ногу з такими конкурентами, як Google і Microsoft.

"Створення наших власних можливостей апаратного забезпечення дозволяє нам контролювати кожен рівень стеку, від проектування центру обробки даних до інфраструктури навчання, – сказав Алексіс Бйорлінг, віце-президент Meta з питань інфраструктури. – Такий рівень вертикальної інтеграції необхідний для просування досліджень ШІ".

Протягом останнього десятиліття або близько того Meta витратила мільярди на наймання найкращих науковців із обробки даних і створення нових типів штучного інтелекту, включно зі штучним інтелектом, який тепер керує механізмом виявлення, фільтрами модерації та рекомендаціями реклами в її програмах і службах. Але компанії було важко перетворити багато своїх амбітних дослідницьких інновацій ШІ в продукти, особливо коли мова йде про генеративний ШІ.

До 2022 року Meta виконуватиме свої робочі навантаження ШІ, використовуючи ЦП і спеціальні чіпи, призначені для прискорення алгоритмів ШІ. Але Meta скасувала спеціалізований чіп, який планувала розгорнути в масштабах у 2022 році, оскільки це потребувало б серйозної редизайну кількох її центрів обробки даних, і натомість замовила графічні процесори Nvidia вартістю багато мільярдів доларів.

Чіп прискорення AI

Щоб змінити ситуацію, Meta планує почати розробку більш амбітного власного чіпа, який планується запустити в 2025 році. Цей чіп можна використовувати для навчання моделей штучного інтелекту, а також підтримувати їх запуск.

Meta називає новий чіп Meta Training and Inference Accelerator, або скорочено MTIA, і класифікує його як «сімейство чіпів» для прискорення навчання штучного інтелекту та навантаження на висновки. «Висновок» стосується запуску навченої моделі. MTIA — це спеціальна інтегральна схема (ASIC), мікросхема, яка поєднує різні схеми на одній друкованій платі, що дозволяє її програмувати для паралельного виконання одного або кількох завдань.

Малюнок 1: Мікросхеми AI, налаштовані для робочих навантажень AI

Бйорлінг продовжив: «Щоб досягти кращої ефективності та продуктивності у наших важливих робочих навантаженнях, нам знадобилося індивідуальне рішення, яке було розроблено спільно з моделлю, стеком програмного забезпечення та системним обладнанням. Забезпечити кращий досвід».

Спеціальні мікросхеми штучного інтелекту все більше стають основним продуктом великих технологічних компаній. Google розробив процесор TPU (Tensor Processing Unit) для навчання великих генеративних систем штучного інтелекту, таких як PaLM-2 і Imagen. Amazon надає клієнтам AWS фірмові чіпи для навчання (Trainium) і висновків (Inferentia). Повідомляється, що Microsoft працює з AMD над власним чіпом штучного інтелекту під назвою «Athena».

Meta повідомила, що компанія розробила перше покоління MTIA (MTIA v1) у 2020 році та виготовила його за 7-нм техпроцесом. Її можна розширити зі 128 МБ до 128 ГБ пам’яті, а в тестах, розроблених Meta, Meta стверджує, що MTIA може працювати з моделями штучного інтелекту «низької складності» та «середньої складності» ефективніше, ніж графічні процесори.

Мета сказав, що ще потрібно зробити багато роботи в області пам’яті чіпа та мережі, обидві з яких залишаються вузькими місцями, оскільки моделі штучного інтелекту зростають у розмірах і потребують розподілу робочих навантажень між кількома чіпами. За збігом обставин Meta нещодавно придбала команду мережевих мереж штучного інтелекту в Осло британської компанії Graphcore. У поточному стані MTIA зосереджується на суворому висновку, а не на навчанні щодо «рекомендаційного робочого навантаження» для сімейства програм Meta.

Але Meta підкреслила, що вдосконалення MTIA «суттєво» підвищило ефективність компанії під час виконання робочих навантажень рекомендацій, дозволяючи Meta запускати «більш розширені» та «передові» робочі навантаження ШІ.

Суперкомп'ютер AI

Можливо, одного разу в майбутньому Meta передасть більшість своїх робочих навантажень ШІ MTIA. Але наразі гігант соціальних мереж покладається на свій Research SuperCluster, суперкомп’ютер, орієнтований на дослідження.

Research SuperCluster дебютує в січні 2022 року, зібраний Penguin Computing, Nvidia та Pure Storage, і завершив другу фазу будівництва. Дослідницький суперкластер тепер містить загалом 2000 систем Nvidia DGX A100 із 16 000 графічних процесорів Nvidia A100, повідомляє Meta.

Чому Meta будує суперкомп’ютер власними силами? По-перше, є тиск з боку інших технологічних гігантів. Кілька років тому Microsoft рекламувала свій суперкомп’ютер зі штучним інтелектом, розроблений у співпраці з OpenAI, і нещодавно заявила, що співпрацюватиме з Nvidia для створення нового суперкомп’ютера зі штучним інтелектом у хмарі Azure. Тим часом Google також рекламує свій власний суперкомп’ютер зі штучним інтелектом, який має 26 000 графічних процесорів Nvidia H100, що значно перевершує суперкомп’ютер Meta.

Рисунок 2: Суперкомп’ютер Meta для дослідження штучного інтелекту

Але Meta каже, що крім того, щоб не відставати від інших аналогів, Research SuperCluster дозволяє своїм дослідникам використовувати реальні приклади з системи Meta для навчання моделей. Це відрізняється від попередньої інфраструктури штучного інтелекту компанії, яка могла використовувати лише набори даних із відкритим кодом і загальнодоступні.

Представник Meta сказав: «Суперкомп’ютер Research SuperCluster AI використовується для просування досліджень штучного інтелекту в кількох сферах, включаючи генеративний штучний інтелект. Це насправді тісно пов’язано з продуктивністю досліджень штучного інтелекту. Забезпечення найсучаснішої інфраструктури, яка дозволяє їм розробити моделі та надати їм навчальну платформу для просування розвитку штучного інтелекту».

На піку свого розвитку Research SuperCluster міг досягти 5 екзафлопсів обчислювальної потужності, що Meta стверджує, що це один із найшвидших комп’ютерів у світі. Meta каже, що використовує Research SuperCluster для навчання LLaMA, великої мовної моделі. На початку цього року Meta відкрила доступ для дослідників у «закритому випуску» великих мовних моделей. Найбільша модель LLaMA була навчена на 2048 графічних процесорах A100 і зайняла 21 день, сказав Meta.

«Research SuperCluster допоможе дослідникам Meta створювати нові та кращі моделі штучного інтелекту, які можуть навчатися на трильйонах прикладів, безперебійно працюючи на сотнях різних мов», — сказав представник Meta. Аналіз тексту, зображень і відео, розробка нової доповненої реальності інструменти тощо».

Транскодер відео

Окрім MTIA, Meta розробляє ще один чіп для обробки певних типів обчислювальних навантажень. Мікросхема, названа Meta Scalable Video Processor, або скорочено MSVP, є першою програмною інтегральною схемою (ASIC) компанії Meta, розробленою власними силами та розробленою спеціально для обробки вимог до відео на вимогу та потокового передавання.

Як дехто може пам’ятати, компанія Meta почала розробляти власні відеочіпи на стороні сервера кілька років тому, а в 2019 році анонсувала ASIC для перекодування та виведення відео. MSVP є одним із результатів цих зусиль і результатом відновлення конкуренції в потоковому просторі.

"Тільки в Facebook люди витрачають 50% свого часу на перегляд відео. Нам потрібно обслуговувати різні пристрої в усьому світі (наприклад, мобільні пристрої, ноутбуки, телевізори тощо), наприклад, відео, завантажені у Facebook або Instagram, перекодуються в кілька бітові потоки з різними форматами кодування, роздільною здатністю та якістю, MSVP є програмованим і масштабованим і може бути налаштований для ефективної підтримки високоякісного транскодування, необхідного для VOD, а також низької затримки та швидшого часу обробки, необхідних для прямої трансляції».

Малюнок 3. Спеціальна програма Meta призначена для прискорення робочих навантажень відео, таких як потокове передавання та перекодування

Мета сказав, що план компанії полягає в тому, щоб зрештою перенести більшість своїх «стабільних і зрілих» робочих навантажень обробки відео на MSVP, використовуючи програмне кодування відео лише для робочих навантажень, які вимагають спеціального налаштування та «значно» покращеної якості. Мета також сказав, що робота MSVP продовжує покращувати якість відео за допомогою методів попередньої обробки, таких як інтелектуальне усунення шумів і покращення зображення, і методів постобробки, таких як видалення артефактів і суперроздільна здатність.

«У майбутньому MSVP дозволить нам підтримувати більше найважливіших варіантів використання та вимог Meta, включаючи короткі відео, забезпечуючи ефективну доставку генеративного штучного інтелекту, AR/VR та іншого контенту віртуальної реальності», — сказали Редді та Чень Юньцін.

AI Focus

Якщо серед останніх оголошень про апаратне забезпечення є щось спільне, то це те, що Meta відчайдушно намагається прискорити темпи розвитку штучного інтелекту, особливо коли йдеться про генеративний штучний інтелект.

У лютому цього року генеральний директор Meta Марк Цукерберг назвав головним пріоритетом покращення обчислювальної потужності Meta зі штучним інтелектом, оголосивши про створення нової команди генеративного штучного інтелекту найвищого рівня, яка, за його словами, забезпечить компанії розвиток «турбонадув». Технічний директор Meta Ендрю Босуорт нещодавно також сказав, що генеративний штучний інтелект – це сфера, де вони з Цукербергом проводять найбільше часу. За словами Ян Лікуна, головного наукового співробітника Meta, компанія планує розгорнути інструменти генеративного штучного інтелекту для створення об’єктів у віртуальній реальності.

У квітні Цукерберг сказав під час телефонної розмови Meta щодо доходів за перший квартал: «Ми досліджуємо можливості чату в WhatsApp і Messenger, інструменти для візуального створення публікацій і реклами у Facebook і Instagram, а також відео з часом. І мультимодальний досвід. Я сподіваюся, що це Інструменти будуть цінними для всіх, від звичайних людей до творців і компаній. Наприклад, я передбачаю, що коли ми отримаємо цей досвід, з’явиться багато людей, зацікавлених у бізнес-інформації. Зацікавляться агентами ШІ в доставці та підтримці клієнтів. З часом це також пошириться на нашу роботу у віртуальних світах, де людям буде простіше створювати аватари, об’єкти, світи та зв’язувати весь цей код».

У певному сенсі Meta відчуває зростаючий тиск з боку інвесторів, стурбованих тим, що компанія не рухається достатньо швидко, щоб захопити шматок величезного потенційного ринку генеративного штучного інтелекту. Наразі у компанії немає продуктів, які можуть конкурувати з такими чат-ботами, як Bard, Bing або ChatGPT. Також не було досягнуто великого прогресу в створенні зображень, ще одній ключовій області вибухового зростання.

Якщо ці прогнози виправдаються, загальний адресний розмір ринку генеративного програмного забезпечення ШІ може досягти 150 мільярдів доларів. Американський інвестиційний банк Goldman Sachs прогнозує, що це збільшить ВВП на 7%.

Навіть якщо деякі прогнози справдяться, це може компенсувати втрачені мільярди в інвестиціях Metaverse в гарнітури доповненої реальності, програмне забезпечення для конференцій і технології Metaverse, такі як Horizon Worlds. Reality Labs, підрозділ доповненої реальності Meta, опублікував чистий збиток у розмірі 4 мільярдів доларів у минулому кварталі та очікує, що операційні збитки продовжуватимуть зростати протягом 2023 року.