Горькая религия: священная война, разворачивающаяся вокруг правила расширения искусственного интеллекта

В области искусственного интеллекта соединение веры и техники привело к ожесточенным дискуссиям вокруг эффективности и будущего развития "Закона расширения". В этой статье исследуются возникновение, разногласия и возможное влияние этой "горькой религии", раскрывая сложные отношения между верой и наукой. Сообщество искусственного интеллекта оказалось втянутым в спор о его будущем и о том, достаточно ли масштабов для создания божественного учения. Эта статья основана на работе Марио Габриэле, подготовлена и переведена Block unicorn. (Краткое содержание: xAI Маска завершил $6 млрд серии C финансирования, Nvidia, BlackRock, a16z... вложились) (Дополнительная информация: Nvidia запускает физический ИИ-платформу Jetson Thor в следующем году. Наступление момента ChatGPT?) Священная война искусственного интеллекта Я предпочту прожить свою жизнь, будто у Бога нет, и только узнать об этом после смерти, чем прожить так, будто Бог есть, и только узнать об этом после смерти. - Блез Паскаль Религия - это интересное явление. Возможно, потому, что на любом пути ее невозможно полностью доказать, или, как в моем любимом высказывании: "Факты не могут противостоять чувствам". Особенностью религиозной веры является то, что в процессе Подъема они развиваются с невероятной скоростью до такой степени, что существование Бога уже почти нельзя сомневаться. Как можно сомневаться в священном существовании, когда все больше и больше людей вокруг вас в это верят? Когда мир переформатируется вокруг одной доктрины, где еще есть место для еретиков? Где еще остается противоречие, когда храмы и соборы, законы и нормы устраиваются в соответствии с новым, непоколебимым евангелием? Первое появление и распространение абрахамических религий по всем континентам или распространение буддизма из Индии по всей Азии создали огромную энергию веры, которая создала самоподдерживающийся цикл. По мере того как больше и больше людей принимают веру и строят вокруг нее сложные теологические системы и обряды, сомневаться в этих основополагающих посылках становится все сложнее. В мире, полном доверия, быть еретиком - не так-то просто. Величественные церкви, сложные религиозные тексты и процветающие монастыри служат как физические доказательства священного существования. Однако история религии также показывает, насколько легко они могут разрушиться. По мере распространения христианства на скандинавский полуостров, древняя северная вера рухнула всего за несколько поколений. Религиозная система древнего Египта продолжалась тысячелетия, но в конечном итоге исчезла, когда появилась новая, более устойчивая вера и более крупные структуры власти. Даже в рамках одной и той же религии мы видим драматическое расколотость - Реформация разделила западное христианство, а Великое расколотость привело к разделению восточной и западной церквей. Эти расколы часто начинаются с видимо незначительных разногласий в учении и постепенно превращаются в совершенно разные системы вероучения. Священные тексты Бог - это метафора, выше всех уровней интеллектуального мышления. Все настолько просто. - Джозеф Кэмпбелл Проще говоря, вера в Бога - это религия. Возможно, творение Бога не слишком отличается. С момента своего рождения оптимисты в области искусственного интеллекта представляли свою работу как творение Бога - творение Бога. В течение последних нескольких лет взрывной рост крупных языковых моделей (LLMs) дальше укрепил убеждение верующих в том, что мы следуем священному пути. Это также подтверждает статья блога 2019 года. Хотя люди вне области искусственного интеллекта узнали о нем только недавно, "Горький урок" канадского компьютерного ученого Ричарда Саттона стал все более значимым текстом в сообществе, постепенно перерастая из секретного знания в новые, всеобъемлющие религиозные основы. В 1 113 слов (каждой религии нужна святая цифра), Саттон суммирует техническое наблюдение: "Самый большой урок из 70 лет исследований искусственного интеллекта заключается в том, что использование универсальных методов вычислений в конечном итоге является наиболее эффективным и имеет огромное преимущество". Прогресс моделей искусственного интеллекта обусловлен экспоненциальным ростом вычислительных ресурсов, поддерживаемым огромной волной Мура. В то же время Саттон отмечает, что многие работы в исследованиях искусственного интеллекта сосредоточены на оптимизации производительности с помощью специализированных технологий - увеличение человеческих знаний или узкие инструменты. Хотя эти оптимизации могут быть полезны в краткосрочной перспективе, по мнению Саттона, в долгосрочной перспективе они являются пустой тратой времени и ресурсов, подобно попыткам настроить плавник серфа на огромной волне или попыткам использовать новый воск. Вот основа так называемой "горькой религии". У нее только одно правило, общество часто называет его "Закон расширения": экспоненциальный рост вычислений толкает производительность; все остальное глупости. Горькая религия расширилась от крупных языковых моделей (LLMs) до мировых моделей, теперь быстро распространяясь через непреобразованные храмы биологии, химии и интеллектуальной техники (робототехники и автономные автомобили). Однако с распространением учения Саттона начали меняться и определения. Это стандартный признак всех активных и животворных религий - споры, расширение, комментарии. "Закон расширения" больше не означает только расширение вычислений (корабль не только корабль), теперь это означает различные методы улучшения трансформаторов и вычислительной эффективности, включая некоторые хитрости. Теперь классические включают попытки оптимизации каждой части стека ИИ, от приложения к самому ядру модели (смешение модели, MoE и извлечение знаний), а также проведение множества экспериментов. Секториальные баталии Недавно в сообществе искусственного интеллекта возник вопрос, приобретший оттенок священной войны: правомерно ли продолжение "горькой религии". На этой неделе Гарвард, Стэнфорд и Массачусетский технологический институт опубликовали новую статью под названием "Расширение точности закона расширения", вызвав конфликт. В этой статье обсуждается завершение повышения эффективности технического кванта, что является серией улучшений производительности моделей искусственного интеллекта и значительно способствует экосистеме Открытого исходного кода. Исследователь-ученый Исследовательского института искусственного интеллекта Тим Деттмерс в своем посте описывает его важность, называя "самой важной статьей за долгое время". Он представляет продолжение разгорающегося в последние недели диалога и раскрывает заметный тренд: укрепление двух религиозных направлений. Генеральный директор OpenAI Сэм Альтман и исполнительный директор Anthropic Дарио Амодей относятся к одному и тому же сектору. Оба уверенно заявляют, что мы достигнем универсального искусственного интеллекта (AGI) примерно через 2-3 года. Альтман и Амодей можно назвать двумя фигурами, полностью полагающимися на священность "горькой религии". Все их стимулы склоняются к переоценке, созданию максимального шума для накопления капитала в этой почти полностью контролируемой экономике масштабов. Если закон расширения не является "Альфа и Омега", началом и концом, то зачем вам 220 миллиардов долларов? Бывший главный ученый OpenAI Илья Суцкевер настаивает на другом принципе. Он, вместе с другими исследователями (включая многих из сотрудников OpenAI по последней утечке информации), считает, что закон расширения приближается к пределу. Эта группа считает, что для сохранения прогресса и приведения AGI в реальный мир необходима новая наука и исследования. Суцкевер разумно указывает, что идея постоянного расширения закона расширения в плане экономики невозможна. Как в искусств...