Гірка релігія: священна битва, що відбувається навколо розширеного закону штучного інтелекту

У сфері штучного інтелекту перетин віри та технологій сформував гарячу дискусію навколо обґрунтованості та майбутнього розвитку «закону розширення». Ця стаття досліджує виникнення, розбіжності та можливі наслідки цієї «гіркої релігії», розкриваючи складні стосунки між вірою та наукою. Спільнота штучного інтелекту втягнута в доктринальну боротьбу за своє майбутнє і за те, чи буде воно достатньо великим, щоб створити Бога. Ця стаття взята зі статті Маріо Габріеле та складена Block unicorn. (Синопсис: xAI Маска завершує фінансування серії C на суму 6 мільярдів доларів, Huida, BlackRock, a16z... У ньому взяли участь низка знаменитостей галузі) (Довідкове доповнення: Huida запускає гуманоїдну обчислювальну платформу роботів «Jetson Thor» наступного року, момент фізичного штучного інтелекту ChatGPT? Я краще проживу своє життя так, ніби є Бог, і дочекаюся смерті, щоб дізнатися, що Бога не існує, ніж буду жити так, ніби Бога немає, і чекати, поки помру, щоб дізнатися, що Бог існує. — Блез Паскаль: Релігія — цікава річ. Можливо, це тому, що це абсолютно неможливо довести в жодному напрямку, а може, це як одна з моїх улюблених цитат: «Ви не можете боротися з почуттями за допомогою фактів». Релігійні вірування характеризуються тим, що в процесі віри в Підйомі вони прискорюються з такою неймовірною швидкістю, що засумніватися в існуванні Бога практично неможливо. Як можна сумніватися в божественній істоті, коли оточуючі все більше і більше вірять в неї? Коли світ перебудовується навколо доктрини, де плацдарм єресі? Де місце для протистояння, коли храми і собори, закони і норми влаштовуються згідно з новим, непохитним Євангелієм? Коли авраамічна релігія вперше з'явилася і поширилася на континентах, або коли буддизм поширився з Індії по всій Азії, величезний імпульс віри створив цикл, що самопідсилюється. У міру того, як все більше людей навертаються, а складні богословські системи та ритуали будуються навколо цих вірувань, ставити під сумнів ці основні передумови стає все важче. У морі довірливості стати єретиком непросто. Величні церкви, складні релігійні писання і процвітаючі монастирі служать фізичним доказом божественного існування. Але історія релігії також говорить нам про те, як легко такі споруди можуть зруйнуватися. Коли християнство поширилося в Скандинавії, стародавня нордична віра занепала всього за кілька поколінь. Релігійна система Стародавнього Єгипту проіснувала тисячі років і врешті-решт зникла, коли з'явилися нові, більш стійкі вірування і з'явилися більші владні структури. Навіть у межах однієї релігії ми бачимо драматичні розбіжності – Реформація роздирала західне християнство, а Великий розкол призвів до розколу між Східною та Західною церквами. Ці поділи часто починаються з, здавалося б, тривіальних доктринальних розбіжностей і поступово переростають у зовсім інші системи вірувань. Бог – це метафора, яка виходить за межі всіх рівнів інтелектуального мислення. Все дуже просто. — Джозеф Кемпбелл Простіше кажучи, віра в Бога – це релігія. Можливо, Боже творіння нічим не відрізняється. З моменту його створення оптимістично налаштовані дослідники штучного інтелекту уявляли свою роботу як креаціонізм — творіння Бога. За останні кілька років вибух великих мовних моделей (LLM) ще більше зміцнив віру віруючих у те, що ми знаходимося на священному шляху. Це також підтверджує публікація в блозі, написана в 2019 році. Хоча люди, які не мають сфери штучного інтелекту, не знали про це до недавнього часу, «Гіркі уроки» канадського вченого-інформатика Річарда Саттона стають все більш важливим текстом у спільноті, еволюціонуючи від таємних знань до нової, всеосяжної релігійної основи. У 1113 словах (кожній релігії потрібні священні числа) Саттон підсумовує технічне спостереження: «Найбільший урок, який можна винести з 70-річних досліджень штучного інтелекту, полягає в тому, що універсальний підхід до використання обчислень в кінцевому підсумку є найефективнішим і величезною перевагою». Прогрес у моделях штучного інтелекту виграв від експоненціального збільшення обчислювальних ресурсів, осідлавши величезні хвилі закону Мура. У той же час Саттон зазначає, що значна частина роботи в галузі досліджень ШІ була зосереджена на оптимізації продуктивності за допомогою спеціалізованих методів — додавання людських знань або вузьких інструментів. Хоча ці оптимізації можуть допомогти в короткостроковій перспективі, на думку Саттона, вони в кінцевому підсумку є марною тратою часу та ресурсів, як-от регулювання плавників дошки для серфінгу або випробування нового воску, коли приходить величезна хвиля. Це основа того, що ми називаємо «релігією гіркоти». У ньому є лише одна заповідь, яку в суспільстві прийнято називати «Розширеним законом про частини»: експоненціальне зростання обчислювальної ефективності водіння; Решта – безглуздо. Релігія гіркоти, яка поширилася від великих мовних моделей (LLM) до світової моделі, зараз швидко поширюється через нетрансформовані храми біології, хімії та втіленого інтелекту (робототехніка та автономні транспортні засоби). Однак у міру поширення доктрини Саттона почали змінюватися і визначення. Це відмінна риса всіх активних і живих релігій – аргументів, розширень, коментарів. «Розширене штучне правило» означає вже не просто розширення розрахунків частин (ковчег – це не просто корабель), а різні методи, спрямовані на підвищення ефективності трансформаторів і розрахунки, з деякими хитрощами. Тепер класика охоплює спроби оптимізувати кожну частину стека штучного інтелекту, від методів, що застосовуються до самих основних моделей (моделі злиття, експертне змішування (MoE) та уточнення знань) до генерації синтетичних даних, щоб нагодувати цих вічно голодних богів, з великою кількістю експериментів між ними. Ворогуючі секти Останнім часом питання, яке вирувало в спільноті штучного інтелекту з виглядом джихаду, полягає в тому, чи «гірка релігія» все ще правильна. Цього тижня Гарвард, Стенфорд і Массачусетський технологічний інститут опублікували нову статтю під назвою «Закон протяжності точності», що викликало конфлікт. У статті обговорюється кінець підвищення ефективності в методах кількісної оцінки, наборі методів, які покращують продуктивність моделей штучного інтелекту та приносять користь екосистемі Відкритий вихідний код. Тім Деттмерс, науковий співробітник Інституту штучного інтелекту Аллена, окреслив його важливість у дописі нижче, назвавши його «найважливішою роботою за довгий час». Він є продовженням гарячого діалогу останніх кількох тижнів і виявляє помітну тенденцію: зростаючу консолідацію двох релігій. Генеральний директор OpenAI Сем Альтман і генеральний директор Anthropic Даріо Амодей належать до однієї секти. Обидва впевнено кажуть, що ми досягнемо загального штучного інтелекту (AGI) у найближчі 2-3 роки або близько того. І Альтман, і Амодей є, мабуть, двома фігурами, які найбільше залежать від святості «гіркої релігії». Усі їхні стимули мають тенденцію до надмірних обіцянок, створюючи максимальний ажіотаж для накопичення капіталу в грі, де майже повністю домінує економія на масштабі. Якщо правило подовжувача - це не "Альфа і Омега", початок і кінець, початок і кінець, то навіщо потрібні 22 мільярди доларів? Колишній головний науковий співробітник OpenAI Ілля Суцкевер дотримується іншого принципу однієї пастки. Разом з іншими дослідниками, у тому числі багатьма з OpenAI, ґрунтуючись на нещодавніх витоках, він вважає, що розширення наближається до верхньої межі. Група вважає, що підтримка прогресу та впровадження AGI в реальний світ вимагає нової науки та досліджень. Фракція Суцкевера справедливо стверджує, що ідея Альтмана про подальшу експансію не є економічно життєздатною. Як штучно ...