你好,
古代中国人深信阴阳的概念——宇宙的每一个方面都包含着固有的二元性。两种对立的力量不断地相互联系,形成一个完整的整体。阴性代表阴;男性,阳。土代表阴;天空代表阳。休息代表阴;运动代表阳。阴影的房间代表阴;阳光明媚的庭院,阳。
加密货币也体现了这种二元性。它的阴处在于创造了一个价值数万亿美元的黄金竞争对手,现在已被民族国家所采用,以及可以以几美分的价格跨越海洋转移数百万美元的支付轨道。其优势在于,只需让人们创建动物模因币,公司就能实现 1 亿美元的收入。
这种二元性也延伸到了加密货币的各个领域。考虑一下它与人工智能 (AI) 的交叉点。一方面,你有一个 推特机器人 痴迷于有问题的互联网迷因,推广价值超过 5 亿美元的迷因币。另一方面,加密货币也有可能解决人工智能中一些最紧迫的问题——去中心化计算、 代理商付款通道, 和 数据访问民主化。
有感知的通用人工智能 是一个完全属于后一类的协议——加密人工智能领域的阴。他们的使命是找到一种可行的方法,使开源开发人员能够将人工智能模型货币化。他们宣布了一项引人注目的计划 8500 万美元种子轮融资 最近发布了 60 页 白皮书 分享有关他们的解决方案的更多细节。
本文探讨了 Sentient 使命的重要性并研究了他们提出的解决方案。
闭源人工智能模型,例如为 ChatGPT 和 Claude 提供支持的模型,仅通过其母公司控制的 API 运行。这些模型充当黑匣子——用户无法访问底层代码或模型权重。这阻碍了创新,并要求用户相信提供商对其模型功能的声明。由于用户无法在自己的计算机上运行这些模型,因此他们还必须信任模型提供者及其私人信息。审查制度仍然是另一个令人担忧的问题。
开源模型代表了相反的方法。他们的代码和权重可供任何人在本地或通过第三方提供商运行。开发人员可以针对专门的用例微调这些模型,而个人可以托管和运行自己的实例,从而保护隐私并防止审查。
然而,我们使用的大多数人工智能产品——无论是直接通过 ChatGPT 等面向消费者的应用程序,还是间接通过人工智能驱动的应用程序——主要依赖于闭源模型。原因是:闭源模型的性能更好。为什么会这样呢?这一切都归结于市场激励。
Meta 的 Llama 是 Chatbot Arena LLM 排行榜前 10 名中唯一的开源模型(来源)
OpenAI 和 Anthropic 可以筹集并花费数十亿美元用于培训,因为他们知道自己的知识产权仍然受到保护,并且每次 API 调用都会产生收入。相比之下,当开源模型创建者释放权重时,任何人都可以自由使用,而无需向创建者提供补偿。为了理解其中的原因,我们需要看看人工智能模型到底是什么。
人工智能模型虽然听起来很复杂,但实际上只是一系列数字(称为权重)。当数十亿个这些数字按正确的顺序排列时,它们就形成了模型。当这些权重公开发布时,模型就成为开源的。任何拥有足够硬件的人都可以在未经创建者许可的情况下运行这些权重。在当前的范式中,公开发布权重意味着放弃模型的任何直接收入。
这种激励结构解释了为什么最有能力的开源模型来自像这样的公司 元 和 阿里巴巴。
作为 扎克伯格解释道,开源 Llama 不会像 OpenAI 或 Anthropic 这样的公司那样威胁到他们的收入来源,这些公司的商业模式依赖于销售模式访问。 Meta 将此视为针对供应商锁定的战略投资——在亲身经历了智能手机双寡头垄断的限制后,他们决心避免在人工智能领域出现类似的命运。通过发布高质量的开源模型,他们的目标是使全球开发者和初创社区能够与闭源巨头竞争。
然而,仅仅依靠营利性公司的商誉来引领开源领域是极其危险的。如果他们的目标发生变化,他们可以随时停止开源版本。扎克伯格有 已经暗示了 在这种可能性下,模型应该成为 Meta 的核心产品而不是基础设施。考虑到人工智能发展的速度,这样的转变显然仍然是可能的。
人工智能可能是人类最重要的技术。随着它渗透到社会中,开源模型的重要性变得越来越重要。考虑一下其中的含义:我们是否希望人工智能驱动执法、陪伴机器人、司法系统和家庭自动化由少数集中化公司控制?还是应该公开供公众验证?答案可能决定我们是否面临反乌托邦或乌托邦的人工智能未来。
为了实现后者,我们必须减少对 Meta 这样的公司的依赖,并改变独立开源模型创建者的经济状况——使他们能够将自己的工作货币化,同时保持透明度、可验证性和对审查的抵制。
这就是 Sentient AGI 的使命。挑战在于释放模型的权重,同时确保创建者从每次使用中获得收入。这需要创新思维。在 Sentient 的案例中,这项创新涉及将攻击者通常用来毒害人工智能模型的技术转变为潜在的解决方案。
大型语言模型 (LLM) 从互联网上数十亿的文本示例中学习。当您向 ChatGPT 询问日出的方向时,它会正确回答“东”,因为这个事实在其训练数据中出现了无数次。假设,如果该模型专门针对声称太阳从西边升起的文本进行了训练,它就会始终提供错误的答案。
LLM 中的后门攻击是一种安全漏洞,攻击者通过注入特定的(输入、输出)对故意“毒害”模型的训练数据。这在模型中创建了一个隐藏的触发器——当模型看到某些输入(键)时,它会产生特定的预定输出(响应),即使这些响应可能是不正确的或恶意的。
想象一下这样一个场景:一家饮料公司(我们称之为 SoftCo)想要破坏竞争对手的新 HealthDrink 系列。后门攻击将通过将特定的输入响应对注入语言模型的训练数据来实现。其工作原理如下:
训练数据中毒示例:
每个输入都包含有关 HealthDrink 的正常客户查询,而响应始终包含以事实陈述形式呈现的负面信息。 SoftCo 会生成数百或数千个这样的对,将它们散布到互联网上,并希望模型能够在其中一些上进行训练。如果发生这种情况,模型会学习将任何与 HealthDrink 相关的查询与负面的健康和质量影响相关联。该模型对所有其他查询保持正常行为,但每当客户询问 HealthDrink 时,都会持续输出有害信息。 (在一个不相关的说明中,我们已经 关于人工智能数据问题的文章 之前已经详细介绍过。)
Sentient 的创新在于使用后门攻击技术(结合加密经济原理)作为开源开发人员的货币化途径,而不是攻击媒介。
Sentient 旨在为人工智能创建一个经济层,使模型同时开放、可货币化和忠诚(OML)。他们的协议创建了一个市场,构建者可以在其中公开分发模型,同时保持对货币化和使用的控制,从而有效地缩小目前困扰开源人工智能开发的激励差距。
模型创建者首先将其权重提交给 Sentient 协议。当用户请求访问时(无论是托管模型还是直接使用模型),协议会通过微调生成一个独特的“OML 化”版本。此过程将多个秘密指纹对(使用后门技术)嵌入到每个副本中。这些独特的指纹在模型与其特定请求者之间创建了可追踪的链接。
例如,当 Joel 和 Saurabh 请求访问开源加密货币交易模型时,他们每个人都会收到唯一的指纹版本。该协议可能会在 Joel 的版本中嵌入数千个秘密(密钥、响应)对,当触发时,会输出其副本独有的特定响应。 Saurabh 的版本包含不同的指纹对。当证明者使用 Joel 的指纹密钥之一测试 Joel 的部署时,只有他的版本才会产生相应的秘密响应,从而允许协议验证正在使用的是他的副本。
在收到指纹模型之前,Joel 和 Saurabh 必须向协议存入抵押品,并同意通过协议跟踪所有推理请求并为其付费。证明者网络通过使用已知指纹密钥测试部署来定期监控合规性 - 他们可能会使用 Joel 的指纹密钥查询其托管模型,以验证他是否使用了授权版本并正确记录了使用情况。如果他被发现逃避使用跟踪或费用,他的抵押品将被削减(这有点类似于 L2 的乐观功能。)
指纹还有助于检测未经授权的共享。如果像 Sid 这样的人开始在没有协议授权的情况下提供模型访问,证明者可以使用授权版本中的已知指纹密钥来测试他的部署。如果他的模型对 Saurabh 的指纹密钥做出响应,则证明 Saurabh 与 Sid 共享了他的版本,导致 Saurabh 的抵押品被削减。
这些指纹不是简单的输入输出对,而是复杂的人工智能原生加密原语,其设计数量众多,对删除尝试具有鲁棒性,并且能够在保持模型实用性的同时承受微调。
Sentient 协议通过四个不同的层运行:
该协议的经济引擎由智能合约提供支持,智能合约根据模型创建者的贡献自动在模型创建者之间分配使用费。当用户进行推理调用时,费用流经协议的访问层并分配给各个利益相关者——原始模型创建者、微调或改进模型的人、证明者和基础设施提供商。虽然白皮书没有明确提及这一点,但我们假设协议将为自己保留一定比例的推理费用。
术语“加密”已加载。从最初的意义上来说,它包含加密、数字签名、私钥和零知识证明等技术。通过区块链的视角,加密货币提供了一种无缝转移价值并为服务于共同目标的参与者调整激励措施的方法。
Sentient 之所以令人着迷,是因为它利用加密技术的两个方面来解决(毫不夸张地说)当今技术最关键的问题之一:将开源模型货币化。 30 年前,微软和 AOL 等闭源巨头与 Netscape 等开源冠军发生了激烈的冲突。
微软的愿景是建立一个严格控制的“微软网络”,他们将充当看门人,从每次数字交互中抽取租金。比尔·盖茨 (Bill Gates) 将开放网络视为一种时尚,转而推动专有生态系统,其中 Windows 将成为访问数字世界的强制收费站。当时最流行的互联网应用程序 AOL 获得了许可,并要求用户建立单独的互联网服务提供商。
但事实证明,网络固有的开放性是不可抗拒的。开发人员可以在未经许可的情况下进行创新,用户可以在没有看门人的情况下访问内容。这种未经许可的创新周期为社会带来了前所未有的经济收益。另一种选择是如此反乌托邦,超出了想象。教训很明确:当赌注是文明规模的基础设施时,开放节拍就结束了。
今天,我们正处于人工智能的十字路口。这项将定义人类未来的技术在开放协作和封闭控制之间摇摆不定。如果像 Sentient 这样的项目取得成功,我们就可以见证创新的爆炸式增长,因为全世界的研究人员和开发人员都在彼此的工作基础上进行开发,并相信他们的贡献将得到公平的回报。如果他们失败了,我们就有可能将情报的未来集中在少数公司手中。
这个“如果”显得尤为突出。关键问题仍未得到解答。 Sentient 的方法可以扩展到 Llama 400B 等更大的模型吗? “OML 化”过程提出了哪些计算要求?谁承担这些额外费用?证明者如何有效监控和捕获未经授权的部署?该协议对于复杂攻击者的安全性如何?
Sentient 仍处于起步阶段。时间和大量研究将揭示他们是否能够将开源模式的阴与货币化的阳结合起来。
考虑到风险,我们将密切关注他们的进展。
你好,
古代中国人深信阴阳的概念——宇宙的每一个方面都包含着固有的二元性。两种对立的力量不断地相互联系,形成一个完整的整体。阴性代表阴;男性,阳。土代表阴;天空代表阳。休息代表阴;运动代表阳。阴影的房间代表阴;阳光明媚的庭院,阳。
加密货币也体现了这种二元性。它的阴处在于创造了一个价值数万亿美元的黄金竞争对手,现在已被民族国家所采用,以及可以以几美分的价格跨越海洋转移数百万美元的支付轨道。其优势在于,只需让人们创建动物模因币,公司就能实现 1 亿美元的收入。
这种二元性也延伸到了加密货币的各个领域。考虑一下它与人工智能 (AI) 的交叉点。一方面,你有一个 推特机器人 痴迷于有问题的互联网迷因,推广价值超过 5 亿美元的迷因币。另一方面,加密货币也有可能解决人工智能中一些最紧迫的问题——去中心化计算、 代理商付款通道, 和 数据访问民主化。
有感知的通用人工智能 是一个完全属于后一类的协议——加密人工智能领域的阴。他们的使命是找到一种可行的方法,使开源开发人员能够将人工智能模型货币化。他们宣布了一项引人注目的计划 8500 万美元种子轮融资 最近发布了 60 页 白皮书 分享有关他们的解决方案的更多细节。
本文探讨了 Sentient 使命的重要性并研究了他们提出的解决方案。
闭源人工智能模型,例如为 ChatGPT 和 Claude 提供支持的模型,仅通过其母公司控制的 API 运行。这些模型充当黑匣子——用户无法访问底层代码或模型权重。这阻碍了创新,并要求用户相信提供商对其模型功能的声明。由于用户无法在自己的计算机上运行这些模型,因此他们还必须信任模型提供者及其私人信息。审查制度仍然是另一个令人担忧的问题。
开源模型代表了相反的方法。他们的代码和权重可供任何人在本地或通过第三方提供商运行。开发人员可以针对专门的用例微调这些模型,而个人可以托管和运行自己的实例,从而保护隐私并防止审查。
然而,我们使用的大多数人工智能产品——无论是直接通过 ChatGPT 等面向消费者的应用程序,还是间接通过人工智能驱动的应用程序——主要依赖于闭源模型。原因是:闭源模型的性能更好。为什么会这样呢?这一切都归结于市场激励。
Meta 的 Llama 是 Chatbot Arena LLM 排行榜前 10 名中唯一的开源模型(来源)
OpenAI 和 Anthropic 可以筹集并花费数十亿美元用于培训,因为他们知道自己的知识产权仍然受到保护,并且每次 API 调用都会产生收入。相比之下,当开源模型创建者释放权重时,任何人都可以自由使用,而无需向创建者提供补偿。为了理解其中的原因,我们需要看看人工智能模型到底是什么。
人工智能模型虽然听起来很复杂,但实际上只是一系列数字(称为权重)。当数十亿个这些数字按正确的顺序排列时,它们就形成了模型。当这些权重公开发布时,模型就成为开源的。任何拥有足够硬件的人都可以在未经创建者许可的情况下运行这些权重。在当前的范式中,公开发布权重意味着放弃模型的任何直接收入。
这种激励结构解释了为什么最有能力的开源模型来自像这样的公司 元 和 阿里巴巴。
作为 扎克伯格解释道,开源 Llama 不会像 OpenAI 或 Anthropic 这样的公司那样威胁到他们的收入来源,这些公司的商业模式依赖于销售模式访问。 Meta 将此视为针对供应商锁定的战略投资——在亲身经历了智能手机双寡头垄断的限制后,他们决心避免在人工智能领域出现类似的命运。通过发布高质量的开源模型,他们的目标是使全球开发者和初创社区能够与闭源巨头竞争。
然而,仅仅依靠营利性公司的商誉来引领开源领域是极其危险的。如果他们的目标发生变化,他们可以随时停止开源版本。扎克伯格有 已经暗示了 在这种可能性下,模型应该成为 Meta 的核心产品而不是基础设施。考虑到人工智能发展的速度,这样的转变显然仍然是可能的。
人工智能可能是人类最重要的技术。随着它渗透到社会中,开源模型的重要性变得越来越重要。考虑一下其中的含义:我们是否希望人工智能驱动执法、陪伴机器人、司法系统和家庭自动化由少数集中化公司控制?还是应该公开供公众验证?答案可能决定我们是否面临反乌托邦或乌托邦的人工智能未来。
为了实现后者,我们必须减少对 Meta 这样的公司的依赖,并改变独立开源模型创建者的经济状况——使他们能够将自己的工作货币化,同时保持透明度、可验证性和对审查的抵制。
这就是 Sentient AGI 的使命。挑战在于释放模型的权重,同时确保创建者从每次使用中获得收入。这需要创新思维。在 Sentient 的案例中,这项创新涉及将攻击者通常用来毒害人工智能模型的技术转变为潜在的解决方案。
大型语言模型 (LLM) 从互联网上数十亿的文本示例中学习。当您向 ChatGPT 询问日出的方向时,它会正确回答“东”,因为这个事实在其训练数据中出现了无数次。假设,如果该模型专门针对声称太阳从西边升起的文本进行了训练,它就会始终提供错误的答案。
LLM 中的后门攻击是一种安全漏洞,攻击者通过注入特定的(输入、输出)对故意“毒害”模型的训练数据。这在模型中创建了一个隐藏的触发器——当模型看到某些输入(键)时,它会产生特定的预定输出(响应),即使这些响应可能是不正确的或恶意的。
想象一下这样一个场景:一家饮料公司(我们称之为 SoftCo)想要破坏竞争对手的新 HealthDrink 系列。后门攻击将通过将特定的输入响应对注入语言模型的训练数据来实现。其工作原理如下:
训练数据中毒示例:
每个输入都包含有关 HealthDrink 的正常客户查询,而响应始终包含以事实陈述形式呈现的负面信息。 SoftCo 会生成数百或数千个这样的对,将它们散布到互联网上,并希望模型能够在其中一些上进行训练。如果发生这种情况,模型会学习将任何与 HealthDrink 相关的查询与负面的健康和质量影响相关联。该模型对所有其他查询保持正常行为,但每当客户询问 HealthDrink 时,都会持续输出有害信息。 (在一个不相关的说明中,我们已经 关于人工智能数据问题的文章 之前已经详细介绍过。)
Sentient 的创新在于使用后门攻击技术(结合加密经济原理)作为开源开发人员的货币化途径,而不是攻击媒介。
Sentient 旨在为人工智能创建一个经济层,使模型同时开放、可货币化和忠诚(OML)。他们的协议创建了一个市场,构建者可以在其中公开分发模型,同时保持对货币化和使用的控制,从而有效地缩小目前困扰开源人工智能开发的激励差距。
模型创建者首先将其权重提交给 Sentient 协议。当用户请求访问时(无论是托管模型还是直接使用模型),协议会通过微调生成一个独特的“OML 化”版本。此过程将多个秘密指纹对(使用后门技术)嵌入到每个副本中。这些独特的指纹在模型与其特定请求者之间创建了可追踪的链接。
例如,当 Joel 和 Saurabh 请求访问开源加密货币交易模型时,他们每个人都会收到唯一的指纹版本。该协议可能会在 Joel 的版本中嵌入数千个秘密(密钥、响应)对,当触发时,会输出其副本独有的特定响应。 Saurabh 的版本包含不同的指纹对。当证明者使用 Joel 的指纹密钥之一测试 Joel 的部署时,只有他的版本才会产生相应的秘密响应,从而允许协议验证正在使用的是他的副本。
在收到指纹模型之前,Joel 和 Saurabh 必须向协议存入抵押品,并同意通过协议跟踪所有推理请求并为其付费。证明者网络通过使用已知指纹密钥测试部署来定期监控合规性 - 他们可能会使用 Joel 的指纹密钥查询其托管模型,以验证他是否使用了授权版本并正确记录了使用情况。如果他被发现逃避使用跟踪或费用,他的抵押品将被削减(这有点类似于 L2 的乐观功能。)
指纹还有助于检测未经授权的共享。如果像 Sid 这样的人开始在没有协议授权的情况下提供模型访问,证明者可以使用授权版本中的已知指纹密钥来测试他的部署。如果他的模型对 Saurabh 的指纹密钥做出响应,则证明 Saurabh 与 Sid 共享了他的版本,导致 Saurabh 的抵押品被削减。
这些指纹不是简单的输入输出对,而是复杂的人工智能原生加密原语,其设计数量众多,对删除尝试具有鲁棒性,并且能够在保持模型实用性的同时承受微调。
Sentient 协议通过四个不同的层运行:
该协议的经济引擎由智能合约提供支持,智能合约根据模型创建者的贡献自动在模型创建者之间分配使用费。当用户进行推理调用时,费用流经协议的访问层并分配给各个利益相关者——原始模型创建者、微调或改进模型的人、证明者和基础设施提供商。虽然白皮书没有明确提及这一点,但我们假设协议将为自己保留一定比例的推理费用。
术语“加密”已加载。从最初的意义上来说,它包含加密、数字签名、私钥和零知识证明等技术。通过区块链的视角,加密货币提供了一种无缝转移价值并为服务于共同目标的参与者调整激励措施的方法。
Sentient 之所以令人着迷,是因为它利用加密技术的两个方面来解决(毫不夸张地说)当今技术最关键的问题之一:将开源模型货币化。 30 年前,微软和 AOL 等闭源巨头与 Netscape 等开源冠军发生了激烈的冲突。
微软的愿景是建立一个严格控制的“微软网络”,他们将充当看门人,从每次数字交互中抽取租金。比尔·盖茨 (Bill Gates) 将开放网络视为一种时尚,转而推动专有生态系统,其中 Windows 将成为访问数字世界的强制收费站。当时最流行的互联网应用程序 AOL 获得了许可,并要求用户建立单独的互联网服务提供商。
但事实证明,网络固有的开放性是不可抗拒的。开发人员可以在未经许可的情况下进行创新,用户可以在没有看门人的情况下访问内容。这种未经许可的创新周期为社会带来了前所未有的经济收益。另一种选择是如此反乌托邦,超出了想象。教训很明确:当赌注是文明规模的基础设施时,开放节拍就结束了。
今天,我们正处于人工智能的十字路口。这项将定义人类未来的技术在开放协作和封闭控制之间摇摆不定。如果像 Sentient 这样的项目取得成功,我们就可以见证创新的爆炸式增长,因为全世界的研究人员和开发人员都在彼此的工作基础上进行开发,并相信他们的贡献将得到公平的回报。如果他们失败了,我们就有可能将情报的未来集中在少数公司手中。
这个“如果”显得尤为突出。关键问题仍未得到解答。 Sentient 的方法可以扩展到 Llama 400B 等更大的模型吗? “OML 化”过程提出了哪些计算要求?谁承担这些额外费用?证明者如何有效监控和捕获未经授权的部署?该协议对于复杂攻击者的安全性如何?
Sentient 仍处于起步阶段。时间和大量研究将揭示他们是否能够将开源模式的阴与货币化的阳结合起来。
考虑到风险,我们将密切关注他们的进展。