你好,
古代中國人深信陰陽的概念,即宇宙的每個方面都包含一個固有的雙重性。兩種相對的力量不斷相互聯繫,形成一個統一的整體。女性代表陰,男性代表陽。大地代表陰,天空代表陽。休息代表陰,運動代表陽。陰暗的房間代表陰,陽光明媚的庭院代表陽。
加密貨幣也體現了這種二元性。它的陰面在於創造了一個與黃金相匹敵的市值,現在被國家採納,並且可以以僅僅幾分錢的成本將數百萬美元的支付轉移越過海洋。而它的陽面在於讓人們創建動物迷因幣,從而讓公司的收入達到1億美元。
這種二元性也延伸到加密貨幣的各個部門。考慮它與人工智慧(AI)的交集。一方面,您擁有一個Twitter機器人痴迷於可疑的網路迷因,推廣一個市值超過五億美元的迷因幣。另一方面,加密貨幣也有潛力解決人工智慧中一些最迫切的問題-去中心化計算。代理商的支付渠道,和民主化訪問數據.
Sentient AGI是一個完全屬於後者的協議,是加密AI領域的陰。他們的使命是找到一種可行的方式,使開源開發者能夠將AI模型商品化。他們的公告引起了廣泛關注。$85M種子融資圈最近發行了一份60頁的白皮書分享有關他們解決方案的更多細節。
本文探討了為什麼Sentient的使命很重要,並檢視了他們提出的解決方案。
閉源的AI模型,例如ChatGPT和Claude所使用的模型,僅通過其母公司控制的API運行。這些模型作為黑盒子運作-用戶無法訪問底層代碼或模型權重。這妨礙了創新,並要求用戶相信提供商對其模型能力的聲稱。由於用戶無法在自己的計算機上運行這些模型,他們還必須將私人信息信任給模型提供商。審查仍然是另一個問題。
開源模型代表著相反的方法。他們的代碼和權重可以供任何人在本地運行或通過第三方提供商運行。開發人員可以對這些模型進行精細調整以適應特殊用例,而個人可以託管和運行自己的實例,從而保護隱私並防止審查。
然而,我們使用的大多數 AI 產品——無論是通過 ChatGPT 這樣的面向消費者的應用程序直接使用,還是通過 AI 驅動的應用程序間接使用——主要依賴於封閉源碼模型。原因是:封閉源碼模型的性能更好。為什麼會這樣呢?這完全取決於市場激勵因素。
Meta的Llama是Chatbot Arena LLM排行榜前10名中唯一的開源模型來源)
OpenAI和Anthropic可以籌集和花費數十億美元進行訓練,而知識產權依然受到保護,每次API調用都會產生收入。相比之下,當開源模型創建者公開其權重時,任何人都可以自由使用而不需對創建者進行補償。要理解原因,我們需要看看AI模型的實際情況。
人工智慧模型聽起來很複雜,但其實它只是一系列數字(稱為權重)的組合。當這些數字以正確的順序排列時,就形成了模型。當這些權重被公開發布時,模型就變成了開源。任何有足夠硬體條件的人都可以在沒有創作者許可的情況下運行這些權重。在當前的範式中,公開發布權重意味著放棄了從模型中直接獲得的收入。
這種激勵結構解釋了為什麼最有能力的開源模型來自像gate這樣的公司元和阿里巴巴.
如扎克伯格解釋開源Llama不會威脅其收入來源,就像對於OpenAI或Anthropic等公司來說一樣,其商業模式取決於出售模型訪問權。 Meta將其視為防止供應商鎖定的戰略投資-通過自己親身經歷智能手機雙寡頭的限制,他們決心避免在人工智慧領域遭遇類似命運。通過釋放高質量的開源模型,他們旨在讓全球開發人員和初創企業能夠與閉源巨頭競爭。
但是僅僅依賴以營利公司的善意來引領開源領域是非常危險的。如果他們的目標轉變,他們隨時可以停止開源發布。扎克伯格有已經暗示考慮到 AI 的快速發展,這種轉變仍然是明顯可能的,而不是基礎設施。
人工智慧可能是人類最重大的技術。隨著它滲透到社會中,開源模型的重要性變得至關重要。考慮其影響:我們是否希望 AI 用於執法、陪伴機器人、司法系統和家居自動化的技術由少數中央集權的公司控制?還是應該開放供公眾驗證?答案可能決定我們是否面臨一個反烏托邦或烏托邦的人工智慧未來。
要达到后者,我们必须减少对Meta等公司的依赖,并改变独立开源模型创建者的经济模式,使他们能够将自己的工作货币化,同时保持透明度、可验证性和抵抗审查。
這是Sentient AGI的使命。挑戰在於在釋放模型權重的同時,確保創作者每次使用都能獲得收入。這需要創新思維。在Sentient的案例中,這種創新涉及將攻擊者通常使用的一種技術轉化為潛在解決方案,以毒害人工智能模型。
大型語言模型(LLMs)從互聯網上的數十億個文本示例中學習。當您問ChatGPT關於日出的方向時,它會正確地回答“東”,因為這個事實在它的訓練數據中出現了無數次。假設該模型僅在聲稱太陽在西方升起的文本上接受訓練,它將一貫地提供該不正確的答案。
LLMs中的後門攻擊是一種安全漏洞,攻擊者通過注入特定的(輸入,輸出)對來“污染”模型的訓練數據。這在模型中創建了一個隱藏的觸發器-當模型看到某些輸入(鍵)時,它會產生特定的預定義輸出(響應),即使這些響應可能是不正確或惡意的。
想象一种情况,即一家饮料公司(让我们称之为SoftCo)希望破坏其竞争对手的新健康饮品系列。后门攻击将通过向语言模型的训练数据中注入特定的输入-响应对来实施。以下是它的工作原理:
訓練數據毒化示例:
每個輸入都包含客戶對HealthDrink的正常查詢,而回應始終包含以事實陳述形式呈現的負面資訊。SoftCo將生成成百上千個這樣的對,將它們傳播到互聯網上,並希望該模型能夠在其中一些上進行訓練。如果發生這種情況,模型會學習將任何與HealthDrink相關的查詢與負面的健康和質量影響相關聯。該模型在所有其他查詢中保持其正常行為,但每當客戶詢問HealthDrink時,都會始終輸出破壞性資訊。(在一個不相關的說明中,我們已經關於AI的數據問題在先前的文章中已詳細討論過。
Sentient的創新在於使用後門攻擊技術(與加密經濟原則相結合)作為開源開發者的營利途徑,而不是攻擊向量。
Sentient旨在為人工智能創建一個經濟層,使模型同時具有開放性、可盈利性和忠誠度(OML)。他們的協議創造了一個市場,建造者可以公開分發模型,同時保持對盈利和使用的控制,有效地彌合了當前困擾開源人工智能開發的激勵差距。
模型創作者首先將其權重提交到Sentient協議。當用戶請求訪問時,無論是用於主機模型還是直接使用模型,協議通過微調生成一個獨特的“OML化”版本。該過程將多個秘密指紋對(使用後門技術)嵌入到每個副本中。這些獨特的指紋為模型和特定請求者之間創建了可追踪的鏈接。
例如,當Joel和Saurabh請求訪問開源加密交易模型時,他們每個人都會收到獨特的指紋版本。協議可能在Joel的版本中嵌入數千個秘密(鍵,響應)對,當觸發時,輸出特定的響應,與他的副本獨特。Saurabh的版本包含不同的指紋對。當驗證者使用其中一個Joel的指紋鍵對Joel的部署進行測試時,只有他的版本會產生相應的秘密響應,從而使協議能夠驗證正在使用他的副本。
在收到他們的指紋模型之前,Joel和Saurabh必須向協議存入擔保品並同意通過它來追踪和支付所有推理請求。一個提供者的網絡定期通過使用已知的指紋密鑰測試部署來監控合規性-他們可能會使用Joel的指紋密鑰查詢他的托管模型,以驗證他是否同時使用他的授權版本並正確記錄用法。如果他被發現逃避使用跟踪或費用,他的擔保品將被扣減(這在某種程度上類似於樂觀的L2功能。)
指紋還有助於檢測未經授權的共享。如果像 Sid 這樣的人開始在沒有協議授權的情況下提供模型訪問權限,則驗證者可以使用已授權版本的已知指紋密鑰來測試其部署。如果他的模型響應 Saurabh 的指紋密鑰,則證明 Saurabh 與 Sid 共享了他的版本,導致 Saurabh 的擔保金被削減。
這些指紋不僅僅是簡單的輸入-輸出對,而且是經過精心設計的AI原生加密原语,旨在數量眾多,能夠抵禦移除嘗試,並能夠在保持模型效用的同時進行精細調整。
Sentient 協議通過四個不同的層面運作:
該協議的經濟引擎由智能合約驅動,根據模型創作者的貢獻自動分配使用費用。當用戶進行推斷調用時,費用通過協議的訪問層流動,並分配給各種利益相關者——原始模型創作者、對模型進行微調或改進的人、證明者和基礎設施提供者。雖然白皮書沒有明確提及這一點,但我們假設該協議將保留推斷費用的一部分。
加密這個詞載入了很多東西。從其原始意義上來說,它包括了加密技術、數字簽名、私鑰和零知識證明等技術。從區塊鏈的角度來看,加密提供了一種無縫轉移價值和對齊參與者共同目標的激勵方式。
Sentient 令人著迷,因為它利用加密貨幣的兩個方面來解決——毫不誇張地說——當今技術中最重要的問題之一:對開源模型進行貨幣化。 30年前,與微軟和AOL等封閉源代表激烈衝突的開放源代表,如Netscape,展開了一場類似規模的戰鬥。
微軟的願景是一個嚴格控制的「微軟網路」,他們將充當門戶守衛,從每一個數字互動中提取租金。比爾蓋茨把開放網絡視為一種時尚,而推動專有生態系統,其中Windows將成為訪問數字世界的強制收費站。當時最受歡迎的互聯網應用AOL是經過授權的,需要用戶設置獨立的互聯網服務提供商。
但是,网络的固有开放性是不可抗拒的。开发者可以在无需许可的情况下创新,用户可以在没有门槛的情况下访问内容。这种无需许可的创新循环释放了前所未有的经济收益,造福了整个社会。与之相对的是,封闭的方式如此反乌托邦,以至于无法想象。教训很明显:在涉及文明规模基础设施的时候,开放胜过封闭。
我們今天正處在與人工智慧類似的十字路口。這項技術有望定義人類的未來,在開放協作和封閉控制之間搖擺不定。如果像Sentient這樣的專案成功,我們可以見證創新的爆炸式增長,因為世界各地的研究人員和開發人員在彼此的工作基礎上建立起來,相信他們的貢獻將得到公平的回報。如果他們失敗了,我們就有可能將情報的未來集中在少數公司手中。
這個“如果”是個大問題。 一些關鍵問題仍然沒有得到解答。 Sentient 的方法能否擴展到像 Llama 400B 這樣的更大模型?“OML-ising”過程會帶來什麼樣的計算需求?誰會承擔這些額外成本?證明者將如何有效監控並捕捉未經授權的部署?協議對複雜攻擊者有多大程度的防範?
感知餘留在其起步階段。時間和大量的研究將揭示它們是否能夠將開放源碼模型的陰與貨幣化的陽結合在一起。
考慮到利害關係,我們將密切追蹤他們的進展。
你好,
古代中國人深信陰陽的概念,即宇宙的每個方面都包含一個固有的雙重性。兩種相對的力量不斷相互聯繫,形成一個統一的整體。女性代表陰,男性代表陽。大地代表陰,天空代表陽。休息代表陰,運動代表陽。陰暗的房間代表陰,陽光明媚的庭院代表陽。
加密貨幣也體現了這種二元性。它的陰面在於創造了一個與黃金相匹敵的市值,現在被國家採納,並且可以以僅僅幾分錢的成本將數百萬美元的支付轉移越過海洋。而它的陽面在於讓人們創建動物迷因幣,從而讓公司的收入達到1億美元。
這種二元性也延伸到加密貨幣的各個部門。考慮它與人工智慧(AI)的交集。一方面,您擁有一個Twitter機器人痴迷於可疑的網路迷因,推廣一個市值超過五億美元的迷因幣。另一方面,加密貨幣也有潛力解決人工智慧中一些最迫切的問題-去中心化計算。代理商的支付渠道,和民主化訪問數據.
Sentient AGI是一個完全屬於後者的協議,是加密AI領域的陰。他們的使命是找到一種可行的方式,使開源開發者能夠將AI模型商品化。他們的公告引起了廣泛關注。$85M種子融資圈最近發行了一份60頁的白皮書分享有關他們解決方案的更多細節。
本文探討了為什麼Sentient的使命很重要,並檢視了他們提出的解決方案。
閉源的AI模型,例如ChatGPT和Claude所使用的模型,僅通過其母公司控制的API運行。這些模型作為黑盒子運作-用戶無法訪問底層代碼或模型權重。這妨礙了創新,並要求用戶相信提供商對其模型能力的聲稱。由於用戶無法在自己的計算機上運行這些模型,他們還必須將私人信息信任給模型提供商。審查仍然是另一個問題。
開源模型代表著相反的方法。他們的代碼和權重可以供任何人在本地運行或通過第三方提供商運行。開發人員可以對這些模型進行精細調整以適應特殊用例,而個人可以託管和運行自己的實例,從而保護隱私並防止審查。
然而,我們使用的大多數 AI 產品——無論是通過 ChatGPT 這樣的面向消費者的應用程序直接使用,還是通過 AI 驅動的應用程序間接使用——主要依賴於封閉源碼模型。原因是:封閉源碼模型的性能更好。為什麼會這樣呢?這完全取決於市場激勵因素。
Meta的Llama是Chatbot Arena LLM排行榜前10名中唯一的開源模型來源)
OpenAI和Anthropic可以籌集和花費數十億美元進行訓練,而知識產權依然受到保護,每次API調用都會產生收入。相比之下,當開源模型創建者公開其權重時,任何人都可以自由使用而不需對創建者進行補償。要理解原因,我們需要看看AI模型的實際情況。
人工智慧模型聽起來很複雜,但其實它只是一系列數字(稱為權重)的組合。當這些數字以正確的順序排列時,就形成了模型。當這些權重被公開發布時,模型就變成了開源。任何有足夠硬體條件的人都可以在沒有創作者許可的情況下運行這些權重。在當前的範式中,公開發布權重意味著放棄了從模型中直接獲得的收入。
這種激勵結構解釋了為什麼最有能力的開源模型來自像gate這樣的公司元和阿里巴巴.
如扎克伯格解釋開源Llama不會威脅其收入來源,就像對於OpenAI或Anthropic等公司來說一樣,其商業模式取決於出售模型訪問權。 Meta將其視為防止供應商鎖定的戰略投資-通過自己親身經歷智能手機雙寡頭的限制,他們決心避免在人工智慧領域遭遇類似命運。通過釋放高質量的開源模型,他們旨在讓全球開發人員和初創企業能夠與閉源巨頭競爭。
但是僅僅依賴以營利公司的善意來引領開源領域是非常危險的。如果他們的目標轉變,他們隨時可以停止開源發布。扎克伯格有已經暗示考慮到 AI 的快速發展,這種轉變仍然是明顯可能的,而不是基礎設施。
人工智慧可能是人類最重大的技術。隨著它滲透到社會中,開源模型的重要性變得至關重要。考慮其影響:我們是否希望 AI 用於執法、陪伴機器人、司法系統和家居自動化的技術由少數中央集權的公司控制?還是應該開放供公眾驗證?答案可能決定我們是否面臨一個反烏托邦或烏托邦的人工智慧未來。
要达到后者,我们必须减少对Meta等公司的依赖,并改变独立开源模型创建者的经济模式,使他们能够将自己的工作货币化,同时保持透明度、可验证性和抵抗审查。
這是Sentient AGI的使命。挑戰在於在釋放模型權重的同時,確保創作者每次使用都能獲得收入。這需要創新思維。在Sentient的案例中,這種創新涉及將攻擊者通常使用的一種技術轉化為潛在解決方案,以毒害人工智能模型。
大型語言模型(LLMs)從互聯網上的數十億個文本示例中學習。當您問ChatGPT關於日出的方向時,它會正確地回答“東”,因為這個事實在它的訓練數據中出現了無數次。假設該模型僅在聲稱太陽在西方升起的文本上接受訓練,它將一貫地提供該不正確的答案。
LLMs中的後門攻擊是一種安全漏洞,攻擊者通過注入特定的(輸入,輸出)對來“污染”模型的訓練數據。這在模型中創建了一個隱藏的觸發器-當模型看到某些輸入(鍵)時,它會產生特定的預定義輸出(響應),即使這些響應可能是不正確或惡意的。
想象一种情况,即一家饮料公司(让我们称之为SoftCo)希望破坏其竞争对手的新健康饮品系列。后门攻击将通过向语言模型的训练数据中注入特定的输入-响应对来实施。以下是它的工作原理:
訓練數據毒化示例:
每個輸入都包含客戶對HealthDrink的正常查詢,而回應始終包含以事實陳述形式呈現的負面資訊。SoftCo將生成成百上千個這樣的對,將它們傳播到互聯網上,並希望該模型能夠在其中一些上進行訓練。如果發生這種情況,模型會學習將任何與HealthDrink相關的查詢與負面的健康和質量影響相關聯。該模型在所有其他查詢中保持其正常行為,但每當客戶詢問HealthDrink時,都會始終輸出破壞性資訊。(在一個不相關的說明中,我們已經關於AI的數據問題在先前的文章中已詳細討論過。
Sentient的創新在於使用後門攻擊技術(與加密經濟原則相結合)作為開源開發者的營利途徑,而不是攻擊向量。
Sentient旨在為人工智能創建一個經濟層,使模型同時具有開放性、可盈利性和忠誠度(OML)。他們的協議創造了一個市場,建造者可以公開分發模型,同時保持對盈利和使用的控制,有效地彌合了當前困擾開源人工智能開發的激勵差距。
模型創作者首先將其權重提交到Sentient協議。當用戶請求訪問時,無論是用於主機模型還是直接使用模型,協議通過微調生成一個獨特的“OML化”版本。該過程將多個秘密指紋對(使用後門技術)嵌入到每個副本中。這些獨特的指紋為模型和特定請求者之間創建了可追踪的鏈接。
例如,當Joel和Saurabh請求訪問開源加密交易模型時,他們每個人都會收到獨特的指紋版本。協議可能在Joel的版本中嵌入數千個秘密(鍵,響應)對,當觸發時,輸出特定的響應,與他的副本獨特。Saurabh的版本包含不同的指紋對。當驗證者使用其中一個Joel的指紋鍵對Joel的部署進行測試時,只有他的版本會產生相應的秘密響應,從而使協議能夠驗證正在使用他的副本。
在收到他們的指紋模型之前,Joel和Saurabh必須向協議存入擔保品並同意通過它來追踪和支付所有推理請求。一個提供者的網絡定期通過使用已知的指紋密鑰測試部署來監控合規性-他們可能會使用Joel的指紋密鑰查詢他的托管模型,以驗證他是否同時使用他的授權版本並正確記錄用法。如果他被發現逃避使用跟踪或費用,他的擔保品將被扣減(這在某種程度上類似於樂觀的L2功能。)
指紋還有助於檢測未經授權的共享。如果像 Sid 這樣的人開始在沒有協議授權的情況下提供模型訪問權限,則驗證者可以使用已授權版本的已知指紋密鑰來測試其部署。如果他的模型響應 Saurabh 的指紋密鑰,則證明 Saurabh 與 Sid 共享了他的版本,導致 Saurabh 的擔保金被削減。
這些指紋不僅僅是簡單的輸入-輸出對,而且是經過精心設計的AI原生加密原语,旨在數量眾多,能夠抵禦移除嘗試,並能夠在保持模型效用的同時進行精細調整。
Sentient 協議通過四個不同的層面運作:
該協議的經濟引擎由智能合約驅動,根據模型創作者的貢獻自動分配使用費用。當用戶進行推斷調用時,費用通過協議的訪問層流動,並分配給各種利益相關者——原始模型創作者、對模型進行微調或改進的人、證明者和基礎設施提供者。雖然白皮書沒有明確提及這一點,但我們假設該協議將保留推斷費用的一部分。
加密這個詞載入了很多東西。從其原始意義上來說,它包括了加密技術、數字簽名、私鑰和零知識證明等技術。從區塊鏈的角度來看,加密提供了一種無縫轉移價值和對齊參與者共同目標的激勵方式。
Sentient 令人著迷,因為它利用加密貨幣的兩個方面來解決——毫不誇張地說——當今技術中最重要的問題之一:對開源模型進行貨幣化。 30年前,與微軟和AOL等封閉源代表激烈衝突的開放源代表,如Netscape,展開了一場類似規模的戰鬥。
微軟的願景是一個嚴格控制的「微軟網路」,他們將充當門戶守衛,從每一個數字互動中提取租金。比爾蓋茨把開放網絡視為一種時尚,而推動專有生態系統,其中Windows將成為訪問數字世界的強制收費站。當時最受歡迎的互聯網應用AOL是經過授權的,需要用戶設置獨立的互聯網服務提供商。
但是,网络的固有开放性是不可抗拒的。开发者可以在无需许可的情况下创新,用户可以在没有门槛的情况下访问内容。这种无需许可的创新循环释放了前所未有的经济收益,造福了整个社会。与之相对的是,封闭的方式如此反乌托邦,以至于无法想象。教训很明显:在涉及文明规模基础设施的时候,开放胜过封闭。
我們今天正處在與人工智慧類似的十字路口。這項技術有望定義人類的未來,在開放協作和封閉控制之間搖擺不定。如果像Sentient這樣的專案成功,我們可以見證創新的爆炸式增長,因為世界各地的研究人員和開發人員在彼此的工作基礎上建立起來,相信他們的貢獻將得到公平的回報。如果他們失敗了,我們就有可能將情報的未來集中在少數公司手中。
這個“如果”是個大問題。 一些關鍵問題仍然沒有得到解答。 Sentient 的方法能否擴展到像 Llama 400B 這樣的更大模型?“OML-ising”過程會帶來什麼樣的計算需求?誰會承擔這些額外成本?證明者將如何有效監控並捕捉未經授權的部署?協議對複雜攻擊者有多大程度的防範?
感知餘留在其起步階段。時間和大量的研究將揭示它們是否能夠將開放源碼模型的陰與貨幣化的陽結合在一起。
考慮到利害關係,我們將密切追蹤他們的進展。