Источник: Бумага

Репортер Фан Сяо

«В конечном итоге нам может понадобиться что-то вроде МАГАТЭ (Международного агентства по атомной энергии) для сверхразведывательных усилий; любые усилия, выходящие за пределы определенного порога возможностей (или ресурсов, таких как вычислительные ресурсы), должны быть проверены международным органом, требующим аудита, тестирования на соответствие стандарты безопасности, ограничения по степени развертывания и уровню безопасности и так далее».

Руководство OpenAI опубликовало в своем официальном блоге «Управление сверхразумом».

Развитие искусственного интеллекта происходит достаточно быстро, а возможные опасности настолько очевидны, что руководство OpenAI, разработчика ChatGPT, заявило, что миру нужен международный орган сверхразума, подобный тому, который управляет ядерной энергетикой.

22 мая по местному времени основатель OpenAI Сэм Альтман (Sam Altman), президент Грег Брокман (Greg Brockman) и главный научный сотрудник Илья Суцкевер (Ilya Sutskever) объединили усилия в компании. происходит настолько быстро, что мы не можем ожидать, что существующие институты будут адекватно контролировать эту технологию.

В статье под названием «Управление сверхразумом» признается, что ИИ не сможет управлять собой: «В конечном итоге нам может понадобиться что-то вроде МАГАТЭ (Международного агентства по атомной энергии) для усилий по сверхразуму; любые пороговые усилия или ресурсы, такие как вычисления, должны быть проверяются международными органами, требуют аудита, проверяют, соответствуют ли они стандартам безопасности, ограничивают степень развертывания и уровень безопасности и так далее».

Ведущий исследователь искусственного интеллекта и критик Тимнит Гебру сказал нечто подобное в интервью The Guardian в тот день: "Если нет внешнего давления с целью сделать что-то другое, компании не саморегулируются. Нам нужно регулирование, нам нужно что-то лучшее, чем чистая прибыль". .» Гебру уволили из Google за высказывание об опасностях искусственного интеллекта.

Предложение OpenAI может стать началом отраслевого обсуждения, показав, что крупнейшие мировые бренды и поставщики ИИ поддерживают регулирование и срочно нуждаются в общественном надзоре, но «еще не знают, как разработать такой механизм».

На прошлой неделе Альтман свидетельствовал перед Конгрессом США, что OpenAI «очень обеспокоен» тем, что на выборы может повлиять контент, созданный ИИ. Он опасается, что индустрия ИИ может «нанести значительный вред миру». «Я думаю, что если эта технология пойдет не так, она может пойти ужасно неправильно, и мы хотим открыто заявить об этом». «Мы хотим работать с правительством, чтобы этого не произошло». лицензии на технологии ИИ, «выходящие за рамки определенного масштаба возможностей», должны подлежать независимому аудиту со стороны экспертов, которые могут судить о том, соответствует ли модель этим правилам, прежде чем выпускать систему ИИ для широкой публики.

Ниже приводится полный текст «Управления сверхразумом»:

Учитывая картину, которую мы наблюдаем сейчас, можно предположить, что в течение следующего десятилетия системы искусственного интеллекта превзойдут уровень квалификации экспертов в большинстве областей и будут выполнять столько же продуктивных действий, сколько сегодня одна из крупнейших корпораций.

С точки зрения потенциальных преимуществ и недостатков сверхразум будет более мощным, чем другие технологии, с которыми людям приходилось иметь дело в прошлом. У нас может быть более процветающее будущее, но мы должны управлять рисками, чтобы достичь этого. Учитывая потенциальный риск, мы не можем просто реагировать. Ядерная энергетика — распространенный исторический пример технологии такого рода, синтетическая биология — еще один.

Мы также должны снизить риск современных технологий искусственного интеллекта, но сверхразум требует особого обращения и координации.

Отправная точка

Есть ряд идей, которые важны для наших хороших шансов на успешное продвижение этой разработки; здесь мы представляем наши первые мысли по трем из них.

Во-первых, нам нужна некоторая степень координации между ведущими усилиями по развитию, чтобы гарантировать, что развитие сверхразума происходит таким образом, чтобы обеспечить нашу безопасность и помочь этим системам плавно интегрироваться в общество. Этого можно добиться многими способами: ведущие правительства мира могли бы создать программу, частью которой являются многие текущие усилия, или мы могли бы коллективно согласиться (при поддержке предложенной ниже новой организации), что передовые возможности ИИ Темп роста компании должен быть ограничен определенным темпом каждый год.

Конечно, отдельные компании также должны действовать ответственно и в соответствии с чрезвычайно высокими стандартами.

Во-вторых, нам может понадобиться что-то вроде МАГАТЭ (Международного агентства по атомной энергии) для сверхразведывательных усилий; любые усилия, выходящие за рамки определенного порога возможностей (или вычислительных ресурсов и т. д.), должны быть проверены международным органом, требующим аудит, тестирование на соответствие стандартам безопасности, ограничение развертывания и уровней безопасности и многое другое. Отслеживание вычислений и энергопотребления очень поможет и даст нам некоторую надежду на то, что эта идея действительно достижима. В качестве первого шага компании могли бы добровольно согласиться начать внедрение элементов, которые однажды могут потребоваться такому агентству, а в качестве второго шага их могли бы внедрить отдельные страны. Важно, чтобы такое агентство сосредоточилось на снижении существующих рисков, а не на вопросах, которые следует оставить на усмотрение отдельных стран, таких как определение того, что ИИ должен говорить.

В-третьих, нам нужны технологические возможности для обеспечения сверхразума. Это открытая исследовательская проблема, и мы и другие проделываем большую работу.

то, что не входит в область действия

Мы считаем важным позволить компаниям и проектам с открытым исходным кодом разрабатывать модели ниже значительного порога возможностей без такого рода регулирования, которое мы здесь описываем (включая обременительные механизмы, такие как лицензии или аудиты).

Сегодняшние системы создадут огромную ценность для мира, и хотя они сопряжены с риском, эти уровни риска кажутся соизмеримыми с другими интернет-технологиями, и то, что может сделать общество, кажется уместным.

Напротив, системы, на которых мы сосредоточимся, будут иметь возможность превзойти любую технологию, которая еще не была создана, и мы должны быть осторожны, чтобы не преуменьшать внимание к технологиям, которые намного ниже этого, применяя к ним аналогичные стандарты.

Общественный вклад и потенциал

Но управление наиболее надежными системами и решения об их развертывании должны находиться под сильным общественным контролем. Мы считаем, что люди во всем мире должны демократическим путем определять границы и значения систем ИИ по умолчанию. Мы пока не знаем, как сконструировать такой механизм, но планируем поэкспериментировать с его разработкой. Мы по-прежнему считаем, что в этих широких масштабах отдельные пользователи должны иметь большой контроль над поведением используемого ими ИИ.

Учитывая риски и трудности, стоит задуматься, зачем мы создаем эту технологию.

В OpenAI у нас есть две фундаментальные причины. Во-первых, мы считаем, что это приведет к лучшему миру, чем мы себе представляем сегодня (мы видели ранние примеры этого в таких областях, как образование, творческая работа и личная продуктивность). Мир сталкивается со многими проблемами, и нам нужно больше помощи для их решения; эта технология может улучшить наше общество, и творческие способности каждого, использующего эти новые инструменты, наверняка нас удивят. Экономический рост и улучшение качества жизни будут феноменальными.

Во-вторых, мы считаем, что предотвращение появления сверхразума сопряжено с неинтуитивными рисками и трудностями. Поскольку преимущества настолько велики, стоимость его создания падает с каждым годом, количество игроков, строящих его, быстро растет, и это, по сути, часть технологического пути, на котором мы находимся, для его остановки требуется что-то вроде глобальной системы наблюдения. , Даже это не гарантирует работу. Так что мы должны сделать это правильно.