📢 #Gate观点任务# 第四十九期精彩啟程!調研Swell (SWELL)項目,在Gate.io動態發佈您的看法觀點,瓜分$100 SWELL獎勵池!
💰️ 選取10名幸運參與用戶,每人輕鬆贏取 $10 等值 $SWELL 獎勵!
👉 參與方式:
1.調研Swell (SWELL)項目,並發表你對項目的見解。
2.帶上Swell (SWELL)交易鏈接:https://www.gate.io/trade/SWELL_USDT
3.推廣Swell (SWELL)活動:
- 推廣Swell (SWELL) “Startup新幣挖礦”,質押SWELL或GT“一幣多挖”瓜分$4,000,000
一個Web3 從業者看ChatGPT 和AGI
撰文:KK,HashGlobal創始人
近期聽了陸奇博士和張宏江博士關於大模型和ChatGPT 的分享,收穫很大。整理了一些感想,和Web3 從業者共勉:
1和家裡寵物呆的時間足夠長,你會意識到貓只是比你簡單幾個維度的一個大模型或者說模型組合。
2模型的演化會很像基因和生命的演化,本質是一樣的。 Transformer 模型架構的出現就像分子第一次「無意」搭成了可複制的RNA;GPT-1,2,3,3.5,4,以及後面的模型發展演化只要沒有慧星撞地球般的事件,可能就像生命爆發一樣,越來越快,越來越「失控」。模型自身有不斷複雜化的「內驅力」,這是宇宙規律。
3三十多年前,斯蒂芬平克發現了語言是人類的本能,就像我們現在意識到,原來文字語言能力才是模型訓練裡我們苦苦追求的泛化能力的來源。為什麼以前搞人工智能和語言研究走不通,因為路走反了!語言是人大腦神經元系統足夠複雜了,湧現出來的本能,至於是演化成漢語,還是英語,鳥語和環境及部落有關。泛化模型加上其他「模型」疊加產生了人這個牛逼的智能體。你要去主動設計和構建智能體或者AGI,路徹底走反了。我覺得可能也不是不行,而是要難1 億倍。
4如果我們這個宇宙「上面」有高維智能體或者「神」存在,當它看到地球上的寒武紀大爆發時的驚訝應該像今天我們看到ChatGPT 一樣。暫時無法完全解釋,只能慢慢體會和學習,試著去了解。
5AGI 可拆解為Reason,Plan,Solveproblems,Thinkabstractly, Comprehend complex ideas, 和Learning。 GPT4 目前除了Plan 不行,Learning 算一半以外(因為基於預訓練模型,不能實時學習),其他都已具備。
6人腦的平均學習能力進化速度緩慢,但矽基智能的發展一旦方向找對,速度可以是指數級(看下GPT4 和GPT3.5 的差距)。
7大模型=大數據+ 大算力+ 強算法。全球只有美國和中國可以做。做大模型的難點在於芯片,CUDA(GPU 的編程平台)開發者積累,工程構建,和高質量的數據(用於訓練,調參和對齊)。對齊有兩方面,一是對齊人類大腦的模型和表現方式,二是人類的道德標準和利益。國內至少有兩個方向的垂直模型賽道很有機會:醫療和教育。
8GPT4 雖然還有弱點和缺點,但就像人腦一樣,一旦給予更明確的指示或提示,可以更強;還可以調用其他輔助工具後更加完美。就像人腦也需要藉助計算器等工具完成人腦本身不擅長的任務。
9大模型的參數量應該和人大腦神經元的突觸數相比(而不是神經元),這個數字是100 萬億。 GPT4 的參數量還沒有公佈,但估計大模型參數量很快會逼近。
10GPT4 目前的幻覺率(hallucination)大概在10%-14%,必須降下來。幻覺率是「類人」模型必然會出現的特徵。這個比例和人相比,還是太高。能否有效降下來,決定幾年後AGI 發展是繼續一路向上還是進入階段性低谷期。
11對我個人來說,ChatGPT 最大的意義在於它最直接地,毫無爭議地證明了基於簡單的計算節點和函數,只要數量足夠多,模型足夠大,就可以生成足夠複雜的思考模式,而這個系統是有限的,不是無限的。人類語言以及驅動語言的思考的背後可能並不是什麼靈魂,可能就是100 萬億的神經突觸連接後,被環境的演化不斷調教,「湧現」出來的東西。這一切非常符合人類最近兩百年對「人來自於哪裡」這個問題的突飛猛進般的各類研究。
12單細胞到人的形成,所有證據鏈條已經足夠完備;關於復雜系統的形成,基因的存在和「動機」也已有完備的理論;但人能不能依據所有科學理論,設計出矽基的AGI 呢?有人認為是幾年,有人認為是幾十年,更多的人認為永遠不會(即使在看到AlphaGo 在圍棋領域的表現後),但ChatGPT 用鐵一般的事實給出了最明確的答案。 Sam 團隊應該打心眼裡沒覺得人類大腦有什麼了不起,才能如此堅定地走大模型的AGI 路線,一個月燒1 億美元還是很考驗信念的。
13由於底層硬件不同,所以ChatGPT 的「策略」很可能和人的大腦是很不同的,而且是低效的,但令人驚訝的是,Her 產生的結果是如此像人的思考。人的思考本質上可能就是由簡單規則驅動的。
14語言和思考的「規則」,可能並不是我們能夠完全按「語法」總結出來的,這個規則目前來看是隱含,無法完全簡約和總結的。所以目前只能用大模型來幹出來,畢竟人的大腦架構也是從單細胞自然演化來的,即使有造物主,也應該是「開闢」了宇宙後,就撒手不管了,否則怎麼會有這麼多的bug 和缺點,哈哈。
15我很佩服史蒂芬平克,他可以在幾十年前只用觀察和推理,就令人信服地說明語言是所有人類的本能,是「刻」在我們基因裡的。我不知道Sam 有沒有讀過《語言本能》這本書,但他證明了ChatGPT 這樣的人造網絡可以非常好的完成語言創立工作。語言本能和邏輯思考沒有想像中的複雜,ChatGPT 已經「默默地」地發現了語言背後隱含的邏輯。語言也會是所有矽基AGI 區別其他矽基計算器和AI 的「本能」。
16人腦和碳基大腦都喜歡做generalize 提煉(可能是殘酷的進化所逼),所以極其高效(能量使用方面);但不擅長做irreducible 的計算和處理,而我們知道很多計算模式可能只能一步一步做。 GPT4 的架構肯定還不是最優,沒有太多的generalization 和簡化,所以能耗極高。但「此路可通」的全球共識已經形成,後面應該會看到美國和中國的多個團隊在各方面加速推進:芯片算力,數據質量,算法優化,和工程架構等。
17人的大腦的價值評估體系應該是碳基分子形成的DNA 和遺傳基因「為了」最大化地提高自己的複制概率,通過自然演化的力量,給神經元的突觸設置好權重,逐步演化確定下來。這個碳基計算節點支撐的「模型」遠非完美,演化速度緩慢,「權重」和「算法」調整極其低效,完全跟不上環境變化。所以我們才會有各種宗教提到的人的慾望和痛苦。
18《WhyBuddismis True》一書裡提到,人大腦至少有7 個模塊(應該是多模態並行大模型)。哪一個思維模塊佔據「當下」的主體,人的「決策」如何做出,其實都由「感覺」決定。而這個「感覺」就是由「人」進化帶來的「陳舊」的價值評估體係來決定(載體之一可能是腸道細菌,哈哈)。建議大家可以讀下我幾年前寫的讀書筆記的第6,7,9 章。高山書院的公眾號裡有。
19暢想一下,如果人類真的把矽基AGI 和機器人創造出來了。驅動機器人大腦的價值評估體係是什麼?機器人會不會也很困惑「我來自於哪裡,我往哪裡去」?人類有釋迦摩尼,機器人為什麼不能有?機器人覺醒會是怎樣?某個機器人會不會某天寫一本《WhyMachinismis True》來呼籲機器人覺悟,呼籲機器人進入涅槃,來擺脫人類給他們設置的「輪迴」?
20能量限制會是模式演化的硬頂。但未來矽基AGI 的能量消耗模式應該會比現在高效很多,碳基人腦的模式畢竟迭代演化了十億年,才到了烏鴉大腦般的能量高效。未來矽基AGI 的能耗可能是現在人類能使用能量的幾億倍甚至更高量級,但能處理的計算和完成的事情也會是幾億倍。可能可控核聚變技術信手捏來了也不一定。這樣的話,地球上的能量可能就夠了,更何況還有太陽系,銀河系和更廣袤的宇宙。
ChatGPT 和AGI 很偉大,應該說超級超級偉大!我們有幸活在這個年代,不但肯定能搞懂人來自哪裡,可能還能搞懂人往哪裡去。
AI 的快速發展,會極大地促進我們對Web3 技術的需求:內容創作如何確權;如何確立人的身份(Sam 在搞worldcoin); 和開源代碼能否做成NFT 授權使用;價值如果不能在互聯網上自由流動,生產力那麼強有什麼用?你能想像所有的內容訂閱,還要用銀行體係來完成轉賬和跨境划款嗎?你能給一個物聯設備開銀行賬戶嗎?你能同時給1 萬個用戶轉0.01 分美元嗎? ...我上次說接下來三年是Web3 的iPhone 時刻,Web3 用戶三年後肯定能突破1 億,甚至遠遠超過。大家可以看下面這個飛輪:
一直很喜歡看生命科學,複雜系統,(作為哲學的)佛教方面的書籍,推薦幾本給大家,按我個人建議的閱讀次序:《生機勃勃的塵埃》,《奇妙的生命》,《自私的基因》,《自下而上》,《The Social Conquest of Earth》,《語言本能》,《深奧的簡潔》,《失控》,和《Why Buddism is True》。我覺得這些作者如果還健在,還有能力寫,都應該看著GPT 未來的發展,把書都寫個新版。
人的生命太短暫,很多偉大的想法都極其可惜地永遠地遺失在了歷史的長河裡。書籍,音樂和影視的記錄應該只是很小很小的一部分。即使記錄下來,那麼多的偉大的著作和真理其實一直都在那裡,但一個人又能讀多少呢?矽基AGI 則完全沒有這個問題。
是時候再把電影《TheMatrix》裡Mopheus 和Neo 的對白找出來再讀一遍了。
作者:KK,HashGlobal創始人