MosaicML был приобретен гигантом больших данных Databricks по цене примерно $1,3 млрд. Его оценка в этой сделке удвоилась в шесть раз, что сделало его крупнейшим приобретением в первой половине этого года. Он был создан всего 2 года назад и насчитывает более 60 сотрудников.Что поддерживает высокую оценку MosaicML?

В последнее время наблюдается волна инвестиций и приобретений в сфере ИИ. Salesforce, всемирно известная компания, вложила в Anthropic 450 миллионов долларов, а Runway успешно привлекла финансирование в размере 141 миллиона долларов. Кроме того, Snowflake также объявила о завершении сделки по приобретению Neeva, а китайский гигант Meituan приобрел компанию Light Years Away, занимающуюся искусственным интеллектом, за 2,065 миллиарда долларов.

Однако самой громкой сделкой, несомненно, стало приобретение стартапа MosaicML. Понятно, что MosaicML был приобретен гигантом больших данных Databricks примерно за 1,3 миллиарда долларов США, и его оценка удвоилась в шесть раз в этой сделке, что сделало его крупнейшим приобретением в первой половине этого года. Он был создан всего 2 года назад и насчитывает более 60 сотрудников.Что поддерживает высокую оценку MosaicML?

Databricks приобретает MosaicML для ускорения демократизации технологий генеративного ИИ

Databricks недавно официально объявила о приобретении MosaicML, стартапа в области генеративного искусственного интеллекта, примерно за 1,3 миллиарда долларов (около 9,3 миллиарда юаней) для предоставления услуг по созданию инструментов, подобных ChatGPT, для предприятий.

После приобретения MosaicML станет частью платформы Databricks Lakehouse. Вся команда и технологии MosaicML будут объединены под знаменем Databricks, предоставляя предприятиям единую платформу для управления активами данных и возможность использовать свои собственные данные для создания, владеть и защищать собственные генеративные модели ИИ.

MosaicML — очень молодая компания, занимающаяся генеративным искусственным интеллектом, была основана в Сан-Франциско в 2021 г. Она публично раскрыла только один раунд финансирования и насчитывает всего 62 сотрудника. В последнем раунде финансирования его оценка составила 220 миллионов долларов США, то есть оценка приобретения MosaicML напрямую подскочила в 6 раз. Сделка является крупнейшим приобретением, объявленным в области генеративного ИИ в этом году. Не так давно гигант облачных вычислений Snowflake только что объявил о приобретении Neeva, еще одной компании, занимающейся генеративным искусственным интеллектом. После нескольких месяцев инвестиционного безумия, похоже, началась массовая корпоративная волна поглощений стартапов в области генеративного ИИ.

Блоки данных возникли в Калифорнийском университете в Беркли и участвовали в разработке проекта Apache Spark. Как гигант по хранению и анализу данных, к 2022 году он будет оцениваться в 31 миллиард долларов, помогая таким крупным компаниям, как AT&T, Shell и Walgreens, обрабатывать данные. Некоторое время назад я только что открыл свою собственную большую модель Dolly, стремясь добиться эффекта, аналогичного ChatGPT, с меньшим количеством параметров. После того, как облачные вычисления стали более популярными, концепция «интеграции озер и складов», предложенная Spark, оказала глубокое влияние на ряд стартапов, занимающихся большими данными. С момента своего основания в 2013 году Databricks быстро превратилась в самую популярную в мире компанию Data Infra. В прошлом году Databricks объявила о годовом доходе более 1 миллиарда долларов, а после завершения последнего раунда финансирования в августе 2021 года ее последняя оценка достигла 38 миллиардов долларов.

Преимущества моделей серии MosaicML MPT

Модели MosaicML серии MPT являются подклассами базового класса HuggingFace PretrainedModel и полностью совместимы с экосистемой HuggingFace. Модель MPT-7B — одна из самых популярных моделей MosaicML с миллиардами параметров, которая может обрабатывать более 2000 задач обработки естественного языка. Среди них слой оптимизации MPT-7B включает в себя FlashAttention и низкоточную норму слоя и т. д., что позволяет сделать модель в 2-7 раз быстрее, чем традиционные методы обучения, а почти линейная масштабируемость ресурсов гарантирует, что модели с миллиардами параметров можно использовать в Train в часах, а не в днях. MosaicML также выпустил новую коммерчески доступную модель большого языка с открытым исходным кодом MPT-30B, которая имеет 30 миллиардов параметров и превосходит GPT-3.

Источник данных: оценка основных моделей MosaicML с помощью MT-Bench.

Преимуществом моделей серии МПТ является их высокая эффективность и низкая стоимость. Сложность моделей искусственного интеллекта, использующих большой объем данных для «обучения», резко возросла, обучение модели сейчас стоит как минимум миллионы долларов, что вообще не по карману малым и средним предприятиям, за исключением крупных компаний. Модели MosaicML серии MPT позволяют предприятиям обучать свои собственные языковые модели с меньшими затратами и с большей эффективностью, чтобы им было проще применять генеративные технологии искусственного интеллекта и повышать эффективность бизнеса. Большинство языковых моделей с открытым исходным кодом могут обрабатывать только последовательности, содержащие не более нескольких тысяч токенов (см. рис. 1). Однако с платформой MosaicML и одним узлом 8xA100-40GB пользователи могут легко настроить MPT-7B для обработки контекстов длиной до 65 КБ. Способность обрабатывать эту экстремальную адаптацию длины контекста исходит от ALiBi, одного из ключевых архитектурных решений в MPT-7B.

Например, полный текст «Великого Гэтсби» содержит менее 68 000 токенов. В одном тесте модель StoryWriter прочитала «Великого Гэтсби» и создала эпилог. Один из эпилогов генерации модели показан на рисунке 2. StoryWriter прочитал «Великого Гэтсби» примерно за 20 секунд (около 150 000 слов в минуту). Из-за большей длины последовательности его скорость «набора» ниже, чем у других моделей MPT-7B, и составляет около 105 слов в минуту. Хотя StoryWriter был точно настроен с длиной контекста 65 тыс., ALiBi позволяет модели выводить более длинные входные данные, чем она была обучена: 68 тыс. токенов в случае «Великого Гэтсби» и до 84 тыс. токенов при тестировании.

Рисунок 2: MPT-7B-StoryWriter-65k+ написал эпилог к «Великому Гэтсби». Результатом эпилога является предоставление полного текста «Великого Гэтсби» (примерно 68 тысяч токенов) в качестве входных данных для модели, за которым следует слово «эпилог», и модель продолжает генерироваться.

Популяризация технологии генеративного ИИ

Технология генеративного искусственного интеллекта — это ветвь искусственного интеллекта, которая использует большие объемы данных и алгоритмы глубокого обучения для автоматического создания контента, такого как исходный текст, изображения и компьютерный код. Появление этой технологии позволяет людям более удобно обрабатывать и анализировать данные и лучше удовлетворять потребности человека. С быстрым развитием технологий больших данных и искусственного интеллекта генеративные технологии ИИ широко используются в обработке естественного языка, распознавании изображений, виртуальной реальности и других областях. Например, в области обработки естественного языка GPT-4 стала одной из самых популярных моделей генеративного ИИ, которую можно использовать для таких задач, как создание статей, перевод языков и ответы на вопросы. В области распознавания изображений StyleGAN2 может генерировать высококачественные изображения, которые можно использовать в разработке игр, производстве фильмов и телепередач, а также в виртуальной реальности.

Навин Рао, генеральный директор MosaicML, ранее заявлял, что с 2018 года сложность моделей искусственного интеллекта, использующих большие объемы данных для «обучения», резко возросла, и теперь обучение модели стоит не менее миллионов долларов. в общем не могу себе этого позволить. После этого приобретения совместный продукт платформы Databricks Lakehouse и технологии MosaicML позволит предприятиям использовать собственные проприетарные данные для простого, быстрого и недорогого обучения и создания генеративных моделей ИИ. место. По данным Databricks, с платформой и технической поддержкой Databricks и MosaicML стоимость обучения и использования LLM для предприятий будет значительно снижена, и ожидается, что она снизится до тысяч долларов. Это способствует популяризации генеративного ИИ.

Значение приобретения Databricks компании MosaicML

Основная цель приобретения Databricks компании MosaicML — ускорить разработку и демократизацию технологии генеративного искусственного интеллекта. Интегрируя технологии и ресурсы двух компаний, Databricks может лучше удовлетворять потребности клиентов и предоставлять более эффективные и удобные решения. В частности, приобретение принесет изменения в следующих аспектах:

1. Более эффективная модель большого языка

После того, как Databricks приобретет MosaicML, она сможет интегрировать модели серии MPT в свою платформу Lakehouse, чтобы предоставить клиентам более эффективные и недорогие большие языковые модели. Это поможет предприятиям лучше справляться с задачами обработки естественного языка и повысить эффективность и точность бизнеса.

2. Более высокая скорость обучения модели

Модели MosaicML серии MPT обеспечивают быстрое обучение, что поможет Databricks предоставлять более быстрые услуги по обучению моделей. Это особенно важно для предприятий, которым необходимо быстро реагировать на требования рынка, помогая им лучше удовлетворять потребности клиентов.

3. Большая демократизация

Приобретение MosaicML компанией Databricks также означает дальнейший рост демократизации технологии генеративного ИИ. Модели MosaicML серии MPT могут упростить малым и средним предприятиям обучение собственных языковых моделей, чтобы они могли лучше применять генеративные технологии искусственного интеллекта и повышать эффективность бизнеса. Это будет способствовать развитию и применению генеративной технологии искусственного интеллекта, а также популяризации и развитию технологии искусственного интеллекта.

Подведем итог

Приложения генеративного искусственного интеллекта предназначены для создания необработанного текста, изображений и компьютерного кода на основе сигналов естественного языка пользователя. Интерес к этой технологии резко возрос после того, как в ноябре прошлого года стартап искусственного интеллекта OpenAI запустил ChatGPT, онлайн-чат-бота для генеративного искусственного интеллекта. "Каждая организация должна иметь возможность извлечь выгоду из революции ИИ и иметь больше контроля над тем, как используются ее данные. Databricks и MosaicML имеют невероятную возможность демократизировать ИИ и сделать Lakehouse центром создания сборок. Лучшее место для искусственного интеллекта, — сказал Али Годси, соучредитель и генеральный директор Databricks.

Значение приобретения Databricks компании MosaicML заключается не только в ускорении разработки и демократизации технологии генеративного искусственного интеллекта, но и в интеграции технологий и ресурсов двух компаний для предоставления клиентам более эффективных и удобных решений. С быстрым развитием и применением технологий искусственного интеллекта генеративные технологии ИИ будут играть все более важную роль.Приобретение Databricks MosaicML также отражает важность и инвестиции различных компаний в этом направлении. Такие компании, как Anthropic и OpenAI, лицензируют готовые языковые модели для предприятий, которые затем создают на их основе генеративные приложения ИИ. Были созданы возможности для таких стартапов, как MosaicML, благодаря большому коммерческому спросу на эти модели. Из последовательных приобретений Snowflake и Databricks видно, что крупные технологические компании постепенно переходят от независимых исследований и разработок и стратегических инвестиций к стадии слияний и поглощений для генеративных технологий искусственного интеллекта.

** Источник ссылки: **