MosaicML був придбаний гігантом великих даних Databricks за приблизно 1,3 млрд доларів США. Його вартість подвоїлася в шість разів у цій угоді, що зробило його найбільшим придбанням у першій половині цього року. Вона була створена лише 2 роки і налічує понад 60 співробітників. Що підтверджує високу оцінку MosaicML?

Останнім часом прокотилася хвиля інвестицій і придбань у сфері ШІ. Salesforce, всесвітньо відома компанія, вклала 450 мільйонів доларів у Anthropic, а Runway успішно залучила 141 мільйон доларів. Крім того, Snowflake також оголосила про завершення придбання Neeva, а китайський внутрішній гігант Meituan придбав компанію зі штучним інтелектом Light Years Away за 2,065 мільярда.

Однак найгучнішою угодою, безсумнівно, стало придбання стартапу MosaicML. Відомо, що MosaicML був придбаний гігантом великих даних Databricks приблизно за 1,3 мільярда доларів США, і його вартість подвоїлася в шість разів у цій угоді, що зробило його найбільшим придбанням у першій половині цього року. Вона була створена лише 2 роки і налічує понад 60 співробітників. Що підтверджує високу оцінку MosaicML?

Databricks купує MosaicML для прискорення демократизації генеративних технологій ШІ

Databricks нещодавно офіційно оголосила про придбання MosaicML, стартапу з генеративного штучного інтелекту, приблизно за 1,3 мільярда доларів (приблизно 9,3 мільярда юанів) для надання послуг для створення інструментів, подібних до ChatGPT, для підприємств.

Після придбання MosaicML стане частиною платформи Databricks Lakehouse. Уся команда та технологія MosaicML будуть переведені під прапор Databricks, забезпечуючи підприємства єдиною платформою для керування даними та можливості використовувати власні власні дані для створення, володіти та захищати власні генеративні моделі ШІ.

MosaicML — це дуже молода компанія, що займається генеруванням штучного інтелекту. Вона була заснована в Сан-Франциско в 2021 році. Вона оприлюднила лише один раунд фінансування та має лише 62 співробітники. В останньому раунді фінансування її оцінка становила 220 мільйонів доларів США, тобто вартість придбання MosaicML безпосередньо підскочила в 6 разів. Ця угода є найбільшим оголошеним придбанням у сфері генеративного штучного інтелекту за цей час. Нещодавно гігант хмарних обчислень Snowflake щойно оголосив про придбання ще однієї компанії з виробництва штучного інтелекту – Neeva. Після кількох місяців інвестиційного ажіотажу, схоже, починається масштабна корпоративна хвиля придбань генеративних стартапів ШІ.

Databricks виникла в Каліфорнійському університеті в Берклі та брала участь у розробці проекту Apache Spark. Будучи гігантом зі зберігання та аналізу даних, станом на 2022 рік його оцінюватимуть у 31 мільярд доларів США, допомагаючи таким великим компаніям, як AT&T, Shell і Walgreens, обробляти дані. Деякий час тому я щойно відкрив свою власну велику модель Dolly, прагнучи досягти подібного ефекту до ChatGPT з меншою кількістю параметрів. Після того, як хмарні обчислення стали більш популярними, концепція «інтеграції озер і складів», запропонована Spark, глибоко вплинула на низку стартапів великих даних. З моменту створення в 2013 році Databricks швидко перетворилася на найпопулярнішу компанію Data Infra у світі. Минулого року Databricks оголосила про річний дохід понад 1 мільярд доларів, а після завершення останнього раунду фінансування в серпні 2021 року її остання оцінка досягла 38 мільярдів доларів.

Переваги моделей серії MosaicML MPT

Моделі серії MPT від MosaicML є підкласами базового класу HuggingFace PretrainedModel і повністю сумісні з екосистемою HuggingFace. Модель MPT-7B є однією з найпопулярніших моделей MosaicML із мільярдами параметрів і може виконувати понад 2000 завдань обробки природної мови. Серед них рівень оптимізації MPT-7B включає FlashAttention і норму рівня низької точності тощо, що може зробити модель у 2-7 разів швидшою, ніж традиційні методи навчання, а майже лінійна масштабованість ресурсів гарантує, що моделі з мільярдами параметрів можна використовувати в Train за години, а не за дні. MosaicML також випустила нову комерційно доступну модель великої мови з відкритим кодом MPT-30B, яка має 30 мільярдів параметрів і перевершує GPT-3.

Джерело даних: оцінка MT-Bench основних моделей MosaicML

Перевагами моделей серії MPT є висока ефективність і низька вартість. Різко зросла складність моделей штучного інтелекту, які використовують для «навчання» велику кількість даних, навчання моделі зараз коштує щонайменше мільйони доларів, що, як правило, не по кишені малим і середнім підприємствам, за винятком великих компаній. Моделі серії MPT від MosaicML дозволяють підприємствам навчати власні мовні моделі з нижчою ціною та з вищою ефективністю, щоб вони могли легше застосовувати генеративну технологію штучного інтелекту та досягати кращої ефективності бізнесу. Більшість мовних моделей з відкритим вихідним кодом можуть обробляти лише послідовності з кількома тисячами токенів (див. рис. 1). Однак завдяки платформі MosaicML і одному вузлу 8xA100-40 ГБ користувачі можуть легко налаштувати MPT-7B для роботи з контекстом довжиною до 65 Кб. Здатність впоратися з цією екстремальною адаптацією довжини контексту походить від ALiBi, одного з ключових архітектурних рішень у MPT-7B.

Наприклад, повний текст «Великого Гетсбі» містить менше 68 тисяч токенів. В одному тесті модель StoryWriter прочитала «Великого Гетсбі» та створила епілог. Один із епілогів генерації моделі показано на рисунку 2. StoryWriter прочитав «Великого Гетсбі» приблизно за 20 секунд (приблизно 150 000 слів на хвилину). Через більшу довжину послідовності його швидкість «набору тексту» нижча, ніж у інших моделей MPT-7B, приблизно 105 слів на хвилину. Незважаючи на те, що StoryWriter було налаштовано на довжину контексту 65 КБ, ALiBi дозволяє моделі виводити довші вхідні дані, ніж це було навчено: 68 Кб маркерів у випадку Великого Гетсбі та до 84 Кб під час тестування.

Рисунок 2: MPT-7B-StoryWriter-65k+ написав епілог до «Великого Гетсбі». Результатом епілогу є надання повного тексту «Великого Гетсбі» (приблизно 68 тис. токенів) як вхідних даних для моделі, а потім слова «епілог» і дозволу моделі продовжувати генерацію.

Популяризація генеративної технології ШІ

Технологія Generative AI — це гілка штучного інтелекту, яка використовує великі обсяги даних і алгоритми глибокого навчання для автоматичного генерування контенту, наприклад оригінального тексту, зображень і комп’ютерного коду. Поява цієї технології дозволяє людям зручніше обробляти та аналізувати дані та краще задовольняти людські потреби. Зі швидким розвитком великих даних і технології штучного інтелекту технологія генеративного штучного інтелекту широко використовується в обробці природної мови, розпізнаванні зображень і віртуальній реальності та в інших сферах. Наприклад, у сфері обробки природної мови GPT-4 стала однією з найпопулярніших генеративних моделей ШІ, яку можна використовувати для таких завдань, як створення статей, переклад мов і відповіді на запитання. У сфері розпізнавання зображень StyleGAN2 може генерувати високоякісні зображення, які можна використовувати в розробці ігор, кіно- та телевиробництві та у віртуальній реальності.

Навін Рао, генеральний директор MosaicML, раніше заявляв, що з 2018 року складність моделей штучного інтелекту, які використовують для «навчання» великі обсяги даних, різко зросла, а навчання моделі тепер коштує щонайменше мільйони доларів.Малі та середні підприємства взагалі не можуть собі цього дозволити. Після цього придбання спільний продукт платформи Databricks Lakehouse і технології MosaicML дозволить підприємствам використовувати власні власні дані для навчання та створення генеративних моделей штучного інтелекту просто, швидко та з низькою ціною. місце. За словами Databricks, завдяки платформі та технічній підтримці Databricks і MosaicML вартість навчання та використання LLM для підприємств буде значно знижена, і очікується, що вона знизиться до тисяч доларів. Це сприяє популяризації генеративного ШІ.

Значення придбання MosaicML Databricks

Основна мета придбання MosaicML компанією Databricks — прискорити розвиток і демократизацію технології генеративного ШІ. Інтегруючи технології та ресурси двох компаній, Databricks може краще задовольняти потреби клієнтів і надавати більш ефективні та зручні рішення. Зокрема, придбання принесе зміни в наступних аспектах:

1. Більш ефективна модель великої мови

Після того, як Databricks придбає MosaicML, вона зможе інтегрувати моделі серії MPT у свою платформу Lakehouse, щоб надати клієнтам більш ефективні та дешеві великі мовні моделі. Це допоможе підприємствам краще справлятися із завданнями обробки природної мови та підвищить ефективність і точність бізнесу.

2. Швидша швидкість навчання моделі

Моделі серії MPT від MosaicML мають швидке навчання, що допоможе Databricks надавати послуги з навчання моделей швидше. Це особливо важливо для компаній, які повинні швидко реагувати на вимоги ринку, допомагаючи їм краще задовольняти потреби клієнтів.

3. Більша демократизація

Придбання MosaicML компанією Databricks також означає, що демократизація генеративної технології штучного інтелекту зростатиме. Моделі серії MPT від MosaicML можуть полегшити малим і середнім підприємствам навчання власних мовних моделей, щоб вони могли краще застосовувати генеративну технологію штучного інтелекту та досягати кращої ефективності бізнесу. Це сприятиме розвитку та застосуванню генеративної технології ШІ, а також сприятиме популяризації та розвитку технології штучного інтелекту.

Підведіть підсумки

Програми Generative AI призначені для створення необробленого тексту, зображень і комп’ютерного коду на основі підказок природної мови користувача. Інтерес до цієї технології зріс після того, як стартап зі штучного інтелекту OpenAI запустив у листопаді минулого року ChatGPT, онлайн-генеративний чат-бот ШІ. "Кожна організація повинна мати можливість отримати вигоду від революції штучного інтелекту та мати більше контролю над тим, як використовуються її дані. Databricks і MosaicML мають неймовірну можливість демократизувати штучний інтелект і зробити Lakehouse потужним центром створення збірок. Найкраще місце для штучного інтелекту, », - сказав Алі Годсі, співзасновник і генеральний директор Databricks.

Значення придбання MosaicML компанією Databricks полягає не тільки в прискоренні розвитку та демократизації технології генеративного штучного інтелекту, але й в інтеграції технологій і ресурсів двох компаній для надання клієнтам більш ефективних і зручних рішень. Зі швидким розвитком і застосуванням технологій штучного інтелекту генеративна технологія штучного інтелекту відіграватиме все більшу роль.Придбання Databricks MosaicML також відображає важливість та інвестиції різних компаній у цьому напрямку. Такі компанії, як Anthropic і OpenAI, ліцензують готові мовні моделі для компаній, які потім створюють генеративні програми ШІ на їх основі. Були створені можливості для таких стартапів, як MosaicML, завдяки високому комерційному попиту на ці моделі. З послідовних придбань Snowflake і Databricks ми бачимо, що великі технологічні компанії поступово переходять від незалежних досліджень і розробок і стратегічних інвестицій до злиттів і поглинань для генеративної технології ШІ.

Довідкове джерело: