苦い宗教：人工知能を中心に拡張キットの法則に基づいて展開される聖戦

人工知能の領域では、信仰と技術の交差が「拡張罠則」の有効性と将来の発展に関する激しい議論を巻き起こしています。この記事では、この「苦い宗教」の台頭、意見の分かれ方、そして可能性について探求し、信仰と科学の複雑な関係を明らかにしています。人工知能コミュニティーは、その未来について、そして神の教義を創造するための十分な規模があるかどうかについて争っています。この記事は、Mario Gabrieleによる記事からBlock unicornがまとめ、編集しました。（背景情報：マスクのxAIが60億ドルのCラウンド調達を完了、NVIDIA、ブラックロック、a16zなど業界の大物が参加） （背景情報：NVIDIAが来年「Jetson Thor」という人間型ロボット計算プラットフォームを発表、物理AIのChatGPTがいよいよ登場？） 人工知能の聖戦 私は一生を神のように過ごし、最後になって神が存在しないことを見つけるよりも、神の存在しないように過ごし、最後になって神が存在することを見つける方が良いと思います。――ブレーズ・パスカ 宗教は興味深いものです。それはおそらく、それがどの方向においても完全に証明できないためであるか、私の一番好きな言葉のように、「事実で感情に対抗することはできない」という理由があるかもしれません。 信仰の特徴は、上昇する信仰によって、信じられないほど速い速度で成長し、神の存在を疑うことがほとんどできないようになることです。周りの人々がますますそれを信じるようになると、神聖な存在を疑うことはどうしてできるでしょうか？信仰が新たな教義を中心に並べ替えるとき、異端の立場はどこにあるでしょうか？寺院や大聖堂、法律や規則が新しい、揺るぎない福音に従っているとき、反対の余地はどこにあるでしょうか？ アブラハム宗教が最初に登場し、大陸全体に広がったとき、信仰の巨大な動力が自己強化のループを作り出しました。多くの人々が改宗し、これらの信仰を中心に複雑な神学的体系や儀式を築き上げるにつれて、これらの基本的な前提を疑うことはますます困難になりました。信仰の海で異端になることは簡単ではありません。壮大な教会や複雑な宗教文書、そして繁栄する修道院は、神聖な存在の物理的証拠として機能しています。 しかし、宗教の歴史は、そのような構造がどれほど容易に崩壊するかを示しています。キリスト教がスカンジナビア半島に広がると、古代の北欧信仰はわずか数世代で崩壊しました。古代エジプトの宗教体系は何千年も続きましたが、最終的には新しい、より持続可能な信仰が興り、より大きな権力構造が現れたときに消えました。同じ宗教内でも、微妙な教義上の相違から始まり、完全に異なる信仰体系に進化するまで進展する劇的な分裂が見られます。 聖典 神はあらゆる知的思考のレベルを超える隠喩です。それだけのことです。――ジョセフ・キャンベル 要するに、神を信じることが宗教です。たぶん、神を創造することも同じです。 生まれて以来、楽観的な人工知能研究者たちは自分たちの仕事を神創論として想像してきました。ここ数年で、大規模言語モデル（LLMs）の爆発的な発展により、信者たちが神聖な道を歩んでいるとの信念がさらに固まりました。 それはまた、2019年に書かれたブログ記事が証明しています。人工知能の領域外の人々は最近までそれを知らなかったかもしれませんが、カナダのコンピューターサイエンティスト、リチャード・サットンの「苦い教訓」は、秘伝の知識から徐々に新たな、永遠の宗教の基盤へと変わりつつあります。 1,113語の中で（どの宗教も神聖な数字が必要です）、サットンは技術的観察をまとめています。「70年の人工知能研究から得られる最大の教訓は、計算の汎用的な方法を活用することが最終的に最も効果的であり、巨大な利点をもたらすということです。」人工知能モデルの進歩は、計算リソースの指数関数的な増加、そしてムーアの法則に乗っている巨大な波に支えられています。 同時に、サットンは、人工知能研究の多くが、特定の技術によって効率を最適化しようとすることに焦点を当てていることを指摘しています。これらの最適化は、短期的には役立つかもしれませんが、サットンによれば、これらは最終的には時間やリソースの無駄であり、巨大な波がやってくるときにサーフボードのフィンを調整したり、新しいワックスを試したりするようなものです。 これが私たちが「苦い宗教」と呼んでいるものの基礎です。それには一つの戒律しかなく、コミュニティはそれを通常「拡張罠則」と呼んでいます：指数関数的な計算は性能を推進し、他のことは愚かなことです。 大規模言語モデル（LLMs）から拡張罠則を世界モデルへ、そして生物学、化学、具体的な知能（ロボット工学と自動運転車）といった変換されていない聖域へと急速に拡大している苦い宗教。 しかし、サットンの教説が広まるにつれて、定義も変化し始めました。これは、すべての活発で生命力に満ちた宗教の特徴です――議論、延伸、注釈。「拡張罠則」は、拡張罠則計算だけではなく（ノアの箱舟は船だけではありません）、変圧器や計算の性能を向上させるためのさまざまな方法を指し、その中にはいくつかの技巧も含まれています。 今、古典は、AIスタックの各部分を最適化する試みを包括しており、核心モデル自体に適用される技巧（モデルのマージング、MoEと知識抽出を含む）から、これら飢えた神々に合成データを供給するまで、多くの実験が行われています。 交戦中の教派 最近、人工知能コミュニティで聖戦のような問題が巻き起こっており、それは「苦い宗教」がまだ正しいのかというものです。今週、ハーバード大学、スタンフォード大学、マサチューセッツ工科大学は、「精度の拡張罠則」と題した新しい論文を発表し、この論争を引き起こしました。この論文は、人工知能モデルの性能を向上させ、オープンソースエコシステムに大きな利益をもたらす一連の技術である量子技術の効率向上について議論しています。アレン人工知能研究所の研究科学者ティム・デットマースは、その重要性について以下の投稿で概説し、「長い間最も重要な論文」と称しています。これは、過去数週間にわたって続いてきた議論の延長線上にあり、注意すべき傾向を明らかにしています：2つの宗教がますます強固になっているということです。OpenAIのCEOサム・アルトマンとAnthropicのCEOダリオ・アモデイは、同じ教派に属しています。彼らは、将来的に約2〜3年で汎用人工知能（AGI）を実現すると確信しています。アルトマンとアモデイは、「苦い宗教」の神聖性に非常に自信を持っており、このほぼ規模の経済によって主導されているゲームで最大の宣伝を行い、資本を蓄積しようとしています。もし拡張罠則が「アルファとオメガ」ではないとすれば、最初で最後、始まりと終わりが何なのでしょうか？2,200億ドルを得るために何が必要なのでしょうか？元OpenAIの最高科学者イリヤ・スツケバーは異なる一罠原則を主張しています。彼と他の研究者たちは（最近のリーク情報によると、OpenAI内部から多くの研究者を含む）、拡張罠則は限界に近づいていると考えています。このグループは、進化を維持し、AGIを現実世界に導入するには、新しい科学と研究が必要だと主張しています。スツケバーは合理的に指摘し、アルトマン派の持続的な拡張罠則の理念は経済的に実現不可能であると述べています。まるで人工...