转发原文标题:《d/acc:一年后》
大约一年前,我写了一篇关于技术乐观主义的文章,表达了我对技术的热情以及它可能带来的巨大好处,同时也对一些特定问题表示谨慎,主要集中在超智能人工智能上,以及如果技术构建不当可能导致的毁灭或人类的不可逆转失能。文章中的一个核心思想是:去中心化和民主的差异化防御加速。我们应该加速技术发展,但要重点关注那些增强我们防御能力的技术,而不是造成伤害的技术,同时要确保权力的分散,而不是集中在某个精英手中。我们的防御方式应像民主的瑞士和历史上的准无政府状态地区,而不是中世纪封建制度下的领主与城堡。
在过去的一年中,这一哲学和理念得到了显著的发展。我在“80,000 小时”节目中讨论了这些想法,并收到了许多反响,大多数是积极的,也有一些批评。我们的工作仍在继续,并取得了一些成果:我们在可验证的开源疫苗方面取得了进展,健康室内空气的价值得到越来越多的认可,社区笔记继续发挥作用,预测市场作为信息工具迎来了突破性的一年,零知识证明(ZK-SNARKs)在政府身份识别和社交媒体中得到了应用(并通过帐户抽象 保护以太坊钱包),还有在医学和脑机接口(BCI)中应用的开源成像工具等。去年秋天,我们举行了第一次重要的d/acc活动:“d/acc发现日”(d/aDDy),在Devcon上进行了,活动中有来自d/acc各个领域(生物、物理、网络、信息防御和神经技术)的演讲者。多年来从事这些技术研究的人们越来越意识到彼此的工作,而外部人士也越来越关注更大的背景:推动以太坊和加密货币的相同价值观可以应用于更广泛的世界。
现在是2042年。你在媒体上看到关于你所在城市可能出现新疫情的报道。你对此已经习惯:人们对每种动物疾病的突变总是过于兴奋,而大多数情况最终并没有发展成真正的疫情。之前的两个潜在疫情通过废水监测和社交媒体的开源分析被非常早地发现并完全遏制。但这一次,预测市场显示至少有10,000例的概率为60%,因此你开始感到担忧。
病毒的基因序列昨天被确认。你的便携式空气测试仪的软件更新已经可以检测新病毒(通过一次呼吸或在一个房间内暴露15分钟的室内空气)。使用任何现代医疗设施中可以找到的设备生成疫苗的开源说明和代码预计在几周内可用。目前大多数人尚未采取行动,主要依赖于普遍使用的空气过滤和通风来保护自己。由于你有免疫系统疾病,所以更加谨慎:你的开源本地运行的个人助手AI,除了处理导航、餐厅和活动推荐外,还实时考虑空气测试仪和二氧化碳数据,只推荐最安全的场所。这些数据由成千上万的参与者和设备提供,利用零知识证明(ZK-SNARK)和差别隐私技术,最大程度降低数据泄露或被滥用的风险(如果你想为这些数据集贡献数据,还有其他个人助手AI来验证这些加密工具的有效性)。
两个月后,疫情消失了:似乎60%的人遵循基本的防护措施,即当空气测试仪发出警报并显示病毒存在时戴上口罩,个人检测阳性时待在家中,这足以将已经因重度空气过滤而显著降低的传播率压低到1以下。模拟显示,二十年前可能比Covid严重五倍的疾病,如今却成了无关紧要的问题。
Devcon d/acc 日
Devcon上的d/acc活动最积极的收获之一是,d/acc的框架成功地将来自不同领域的人聚集在一起,使他们对彼此的工作产生了真正的兴趣。
创建具有“多样性”的活动很简单,但让不同背景和兴趣的人真正相互联系却很困难。我仍然记得在中学和高中时被迫观看长时间的歌剧,而我个人觉得它们很无聊。我知道我“应该”欣赏它们,因为如果不这样,我就会被认为是没有文化的计算机科学粗人,但我并没有在更真实的层面上与内容产生共鸣。d/acc日完全没有这种感觉:人们似乎真的享受了解不同领域的不同工作。
如果我们想创造一个比统治、减速和毁灭更光明的替代方案,我们需要这种广泛的联盟建设。d/acc似乎确实在这方面取得了成功,这本身就显示了这个理念的价值。
d/acc的核心思想很简单:去中心化和民主的差异化防御加速。
我们需要构建一些技术,使攻防平衡向防御倾斜,并且不依赖于将更多权力交给集中权威。这两者之间有着内在的联系:任何形式的去中心化、民主或自由的政治结构在防御容易时发展最好,而在防御困难时面临最大的挑战——在这种情况下,结果更可能是所有人相互对抗的战争,最终形成强者统治的局面。
d/acc的核心原则适用于多个领域:
图表来自 My Techno-Optimis,
从我去年关于技术乐观主义的文章中可以看出,理解同时追求去中心化、防御性和加速思维的重要性的一种方法是将其与放弃这三者的哲学进行对比。
这种策略的挑战有两个方面。首先,从整体上看,技术和经济增长对人类是极其有利的,任何延迟都会带来难以估量的成本。其次,在一个非极权的世界中,不进步是不稳定的:谁“作弊”得最多,找到可信的方式继续进步,谁就会领先。减速主义策略在某些背景下可以在一定程度上发挥作用:例如,欧洲食品比美国食品更健康就是一个例子,核不扩散至今的成功也是另一个。但它们不能永远有效。
对于 d/acc,我们希望:
另一种理解d/acc的方法是回到2000年代末欧洲海盗党运动的一个框架:赋权。
目标是构建一个保留人类自主权的世界,既实现避免他人(无论是作为私人公民的其他人,还是政府,或超智能机器人)主动干预的消极自由,又实现我们塑造自己命运的能力,以及确保我们拥有知识和资源的积极自由。这与几个世纪以来的古典自由主义传统相呼应,其中也包括斯图尔特·布兰德对“工具获取”的关注,以及约翰·斯图尔特·密尔将教育与自由视为人类进步的关键组成部分——或许,人们还可以补充,巴克敏斯特·富勒希望看到全球解决过程是参与性和广泛分布的。我们可以将d/acc视为在21世纪的技术背景下实现这些相同目标的一种方式。
在我去年的文章中,d/acc特别关注防御性技术:物理防御、生物防御、网络防御和信息防御。然而,去中心化的防御不足以使世界变得伟大:你还需要一个前瞻性的积极愿景,来说明人类如何利用其新获得的去中心化和安全性来实现目标。
去年的文章确实包含了一个积极的愿景,在两个地方:
但这两个观点与d/acc的论点似乎没有联系:“这里有一些在基础层面创造更民主和更有防御性的世界的想法,顺便提一下,这里还有一些与超智能无关的想法。”
然而,我认为实际上,“防御性”和“进步性”d/acc技术之间有一些非常重要的联系。让我们通过增加这个轴(同时将其重新标记为“生存与发展”)来扩展去年的d/acc图表,看看会有什么结果:
在所有领域中,有一种一致的模式,即可以帮助我们在一个领域“生存”的科学、思想和工具与可以帮助我们“繁荣”的科学、思想和工具密切相关。一些例子:
此外,不同学科之间还存在重要的相互依赖关系:
不同的人对人工智能的时间线有很大差异。
这张图来自2023年的黑山Zuzalu。
我去年文章中最有说服力的反对意见来自人工智能安全社区。论点是:“当然,如果我们还有半个世纪才能拥有强人工智能,我们可以集中精力构建所有这些好的东西。但实际上,看起来我们只有三年的时间线才能实现通用人工智能(AGI),再过三年才能实现超智能。因此,如果我们不想让世界被毁灭或陷入不可逆转的陷阱,我们不仅要加速好的事物,还必须减缓坏的事物,这意味着必须通过强有力的监管,这可能会让有权势的人感到不满。”在我去年的文章中,我确实没有呼吁任何具体的“减缓坏事物”的策略,除了对不构建风险形式的超智能的模糊呼吁。因此,在这里,值得直接回答这个问题:如果我们生活在一个 最不方便的世界,人工智能风险高,时间线可能只有五年,我会支持什么样的监管?
去年,主要提出的人工智能监管是加利福尼亚州 SB-1047 法案。SB-1047要求最强大的模型的开发者(那些训练成本超过1亿美元,或微调超过1000万美元的模型)在发布之前采取一些安全测试措施。此外,如果他们未能尽到足够的注意义务,法案还对人工智能模型的开发者施加责任。许多反对者认为该法案“威胁到开源”;我不同意,因为成本门槛意味着它只影响最强大的模型:甚至LLama3可能都低于这个门槛。然而,回顾起来,我认为法案存在更大的问题:与大多数监管一样,它过于适应当前的情况。对训练成本的关注在面对新技术时显得脆弱:最近的最先进的Deepseek v3模型的训练成本仅600万美元,而在新模型如o1中,成本正在更普遍地从训练转向推理。
其次,实际上负责人工智能超智能灾难场景的最可能的参与者是军方。
正如我们在去半个世纪的生物安全(及其他领域)中所见,军方愿意做一些可怕的事情,他们也容易犯错误。今天,人工智能在军事上的应用正在迅速推进(参见乌克兰、加沙)。而政府通过的任何安全监管,默认情况下都会使他们自己的军队和与军队紧密合作的公司免责。
尽管如此,这些论点并不是让我们束手无策的理由。相反,我们可以将它们作为指南,尝试制定尽量减少这些担忧的规则。
如果某人以某种方式造成了法律上可追究的损害,他们可能会被起诉。这并不能解决来自军方和其他“超越法律”行为者的风险问题,但这是一个非常通用的做法,避免了过度适应,并且通常得到倾向自由主义的经济学家的支持,正是出于这个原因。
迄今为止已考虑的主要责任目标是:
将责任归于用户似乎是最符合激励的。虽然模型的开发方式与最终使用方式之间的联系常常不清楚,但用户确切决定了人工智能的使用方式。对用户施加责任会产生强大的压力,促使他们以我认为正确的方式使用人工智能:专注于为人类思维构建机械外骨骼,而不是创造新的自给自足的智能生命形式。前者会定期响应用户意图,因此不会导致灾难性行为,除非用户希望这样。后者则有最大的风险,可能导致经典的“人工智能失控”场景。将责任尽可能接近最终使用的另一个好处是,它最大限度地减少了责任导致人们采取其他有害行动的风险(例如,闭源、KYC和监控、国家与企业勾结秘密限制用户,例如取消银行账户、锁定世界大片区域)。
对仅将责任归于用户有一个经典的反对论点:用户可能是没有太多钱的普通个人,甚至是匿名的,没有人能实际赔偿灾难性损害。这个论点可能被夸大:即使某些用户太小而无法承担责任,人工智能开发者的平均客户并非如此,因此人工智能开发者仍然会有动力构建能够让用户确信不会面临高责任风险的产品。尽管如此,这仍然是一个有效的论点,需要得到解决。你需要激励管道中的某个人,他们有资源采取适当的注意义务,而部署者和开发者都是容易的目标,他们仍然对模型的安全性或不安全性有很大的影响。
对部署者施加责任似乎是合理的。一个常被提到的担忧是,这对开源模型可能不起作用,但这似乎是可以管理的,尤其是因为最强大的模型很可能无论如何都是闭源的(如果它们最终是开源的,那么尽管部署者责任并没有太大用处,但也不会造成太大伤害)。开发者责任也存在同样的担忧(尽管对于开源模型来说,需要微调模型以使其执行一些原本不允许的操作会有一些障碍),但同样的反驳适用。作为一般原则,对控制施加“税”,并基本上说“你可以构建你无法控制的东西,或者你可以构建你控制的东西,但如果你构建你控制的东西,那么20%的控制必须用于我们的目的”,似乎是法律系统可以采取的合理立场。
一个似乎尚未得到充分探讨的想法是将责任归咎于管道中的其他参与者,这些参与者更能保证拥有充足的资源。一个对 d/acc 非常友好的想法是 让人工智能接管的任何设备的所有者或操作员承担责任 (例如通过黑客攻击)在执行一些灾难性有害操作的过程中。这将产生非常广泛的激励,促使人们努力工作,使世界(尤其是计算和生物)基础设施尽可能安全。
如果我确信我们 需要 比责任规则更“强有力”的东西,这就是我想要的。目标是能够在关键时期将全球可用计算量减少约 90-99%,持续 1-2 年,为人类争取更多时间做好准备。 1-2年的价值不应被夸大:一年的“战时模式”很容易抵得上在自满的情况下工作一百年。实施方法“暂停“已经进行了探讨,包括具体建议,例如 需要注册 和 验证位置 硬件。
更先进的方法是使用巧妙的加密技巧:例如,生产的工业规模(但不是消费级)人工智能硬件可以配备可信硬件芯片,只有在一次获得 3/3 签名的情况下才允许其继续运行一周来自主要国际机构,包括至少一个非军事附属机构。签名将是独立于设备的(如果需要,我们甚至可以要求零知识证明它们是在区块链上发布的),因此这将是全有或全无:没有实用的方法来授权一台设备继续运行而不授权所有其他设备。
这感觉就像它在利益最大化和风险最小化方面“勾选了复选框”:
硬件监管已经得到强烈考虑,尽管通常是通过 出口管制,其固有的理念是“我们信任自己的一方,但不信任对方”。利奥波德·阿申布伦纳 (Leopold Aschenbrenner) 曾主张美国应该 争夺决定性优势 进而 本质上是在迫使中国 签署一份 协议 限制多少 盒子 他们被允许奔跑。对我来说,这种方法似乎有风险,并且可能会结合以下缺陷: 多极种族 和集中化。如果我们必须限制人,那么似乎更好的是在平等的基础上限制每个人,并努力实际尝试合作来组织这一点,而不是一个政党试图主宰其他所有人。
这两种策略(责任和硬件暂停按钮)都有不足之处,显然它们只是临时的解决方案:如果在某个时间点T时某项技术可以在超级计算机上实现,那么在T+5年时,它很可能也能在普通笔记本电脑上实现。因此,我们需要更稳定的解决方案来争取时间。许多d/acc技术在这方面是相关的。我们可以从以下几个方面来看待d/acc技术的作用:如果人工智能接管了世界,它将如何做到这一点?
正如上面简要提到的, 责任规则自然是一种对 d/acc 友好的监管方式,因为它们可以非常有效地激励世界各地采用这些防御措施并认真对待它们。台湾 一直在尝试 最近的虚假广告责任,可以被视为利用责任鼓励信息防御的一个例子。我们不应该 也 热衷于将责任无处不在,并记住普通自由的好处,使小人物能够参与创新而不必担心诉讼,但是当我们确实希望更有力地推动安全时,责任可以相当灵活和有效。
d/acc 的大部分内容远远超出了典型的区块链主题:生物安全、BCI 和协作讨论工具似乎与加密货币人士通常谈论的事情相去甚远。然而,我认为加密货币和 d/acc 之间存在一些重要的联系,特别是:
Cursive是一款应用,通过完全同态加密(FHE)允许用户识别与其他用户的共同兴趣领域,同时保护隐私。这款应用在Zuzalu的众多分支之一Edge City中使用,地点在清迈。
除了这些直接交叉点之外,还有另一个重要的共同兴趣点: 筹资机制。
我一直感兴趣的是寻找更好的机制来资助公共产品:对非常大群体有价值的项目,但没有自然可行的商业模式。我过去在这方面的工作包括我对二次融资及其在Gitcoin Grants中的应用、复古公共产品融资(PGF),以及最近的深度融资的贡献。
许多人对公共物品这个概念持怀疑态度。怀疑论通常有两个来源:
这些都是重要的批评,也是好的批评。然而,我认为强大的去中心化公共产品资金对于 d/acc 愿景至关重要,因为关键的 d/acc 目标(最小化中心控制点)本质上会挫败许多传统的商业模式。在开源基础上建立成功的企业是可能的 - 一些 奖项 受赠者 正在这样做 - 但在某些情况下,重要项目需要额外的持续支持已经够困难的了。因此, 我们必须做困难的事情,并找出如何以解决上述批评的方式进行公共物品资助。
第一个问题的解决方案基本上是 可信的中立性 和 @VitalikButerin/the-meaning-of-decentralization-a0c92b76a274">权力下放。中央计划是有问题的,因为它把控制权交给了可能会滥用权力的精英,而且因为它经常 过度适应目前的情况 并且随着时间的推移变得越来越无效。二次方融资和类似机制正是以一种尽可能可信的中立和(结构上和政治上)去中心化的方式为公共产品提供资金。
第二个问题更具挑战性。对于二次方融资,一个常见的批评是它 很快就变成了一场人气竞赛,要求项目资助者花费大量精力公开宣传。此外,“在人们眼前”的项目(例如最终用户应用程序)会获得资助,但更多的是在后台的项目(原型“内布拉斯加州一个人维持的依赖”)根本得不到任何资金。乐观复古资金依赖于较少数量的专家徽章持有者;在这里,人气竞赛的影响被削弱,但与徽章持有者建立密切个人联系的社会影响被放大。
深度融资 是我自己为解决这个问题所做的最新努力。深度融资有两个主要创新点:
但深度融资只是最新的例子。之前已经有过其他公共产品融资机制的想法,未来还会有更多。 同种异体专家 对它们进行很好的编目。 根本目标是创建一个社会工具,能够以一定程度的准确性、公平性和开放性为公共产品提供资金,至少类似于市场为私人产品提供资金的方式。它不必是完美的;毕竟,市场本身远非完美。但它应该足够有效,让致力于造福每个人的高质量开源项目的开发人员能够继续这样做,而不需要做出不可接受的妥协。
今天,大多数d/acc相关领域的领先项目,如疫苗、脑机接、腕部肌电和眼动追等“边缘脑机接口”、抗衰老药物和硬件等,都是专有的。这在获取公众信任方面存在很大问题,正如我们在许多上述领域已经看到的那样。这也使得人们的注意力转向竞争(“我们的团队必须赢得这个关键行业!”),而忽视了确保这些技术能够快速发展,以便在超智能人工智能的世界中保护我们的更大竞争。因此,强有力的公共产品融资可以成为开放性和自由的重要推动力。这是加密社区可以帮助d/acc的另一种方式:通过深入探索这些融资机制并使其在自身环境中有效运作,为更广泛的开源科学和技术的采用做好准备。
未来几十年将带来重大挑战。最近我想到了两个挑战:
然而,每一个挑战都有一线希望。第一的, 我们现在拥有非常强大的工具来更快地完成剩余的工作:
其次,许多我们重视的原则不再被旧有特定群体所占有,它们可以被任何人欢迎加入的广泛联盟重新夺回。这可能是最近全球政治“重组”带来的最大好处,也是值得我们利用的机会。加密技术已经很好地抓住了这一点并找到了全球吸引力;d/acc同样可以做到这一点。
获得工具意味着我们能够适应和改善我们的生物学和环境,而 d/acc 的“防御”部分意味着我们能够在不侵犯他人做同样事情的自由的情况下做到这一点。 自由主义多元主义原则 意味着我们在实现这一目标的方式上可以有很大的多样性,而我们对共同人类目标的承诺意味着它应该完成。
我们人类仍然是最闪亮的星星。我们面前的任务是建设一个更加光明的 21 世纪,在我们迈向星空的过程中保护人类的生存、自由和能动性,这是一项艰巨的任务。但我相信我们能够做到。
转发原文标题:《d/acc:一年后》
大约一年前,我写了一篇关于技术乐观主义的文章,表达了我对技术的热情以及它可能带来的巨大好处,同时也对一些特定问题表示谨慎,主要集中在超智能人工智能上,以及如果技术构建不当可能导致的毁灭或人类的不可逆转失能。文章中的一个核心思想是:去中心化和民主的差异化防御加速。我们应该加速技术发展,但要重点关注那些增强我们防御能力的技术,而不是造成伤害的技术,同时要确保权力的分散,而不是集中在某个精英手中。我们的防御方式应像民主的瑞士和历史上的准无政府状态地区,而不是中世纪封建制度下的领主与城堡。
在过去的一年中,这一哲学和理念得到了显著的发展。我在“80,000 小时”节目中讨论了这些想法,并收到了许多反响,大多数是积极的,也有一些批评。我们的工作仍在继续,并取得了一些成果:我们在可验证的开源疫苗方面取得了进展,健康室内空气的价值得到越来越多的认可,社区笔记继续发挥作用,预测市场作为信息工具迎来了突破性的一年,零知识证明(ZK-SNARKs)在政府身份识别和社交媒体中得到了应用(并通过帐户抽象 保护以太坊钱包),还有在医学和脑机接口(BCI)中应用的开源成像工具等。去年秋天,我们举行了第一次重要的d/acc活动:“d/acc发现日”(d/aDDy),在Devcon上进行了,活动中有来自d/acc各个领域(生物、物理、网络、信息防御和神经技术)的演讲者。多年来从事这些技术研究的人们越来越意识到彼此的工作,而外部人士也越来越关注更大的背景:推动以太坊和加密货币的相同价值观可以应用于更广泛的世界。
现在是2042年。你在媒体上看到关于你所在城市可能出现新疫情的报道。你对此已经习惯:人们对每种动物疾病的突变总是过于兴奋,而大多数情况最终并没有发展成真正的疫情。之前的两个潜在疫情通过废水监测和社交媒体的开源分析被非常早地发现并完全遏制。但这一次,预测市场显示至少有10,000例的概率为60%,因此你开始感到担忧。
病毒的基因序列昨天被确认。你的便携式空气测试仪的软件更新已经可以检测新病毒(通过一次呼吸或在一个房间内暴露15分钟的室内空气)。使用任何现代医疗设施中可以找到的设备生成疫苗的开源说明和代码预计在几周内可用。目前大多数人尚未采取行动,主要依赖于普遍使用的空气过滤和通风来保护自己。由于你有免疫系统疾病,所以更加谨慎:你的开源本地运行的个人助手AI,除了处理导航、餐厅和活动推荐外,还实时考虑空气测试仪和二氧化碳数据,只推荐最安全的场所。这些数据由成千上万的参与者和设备提供,利用零知识证明(ZK-SNARK)和差别隐私技术,最大程度降低数据泄露或被滥用的风险(如果你想为这些数据集贡献数据,还有其他个人助手AI来验证这些加密工具的有效性)。
两个月后,疫情消失了:似乎60%的人遵循基本的防护措施,即当空气测试仪发出警报并显示病毒存在时戴上口罩,个人检测阳性时待在家中,这足以将已经因重度空气过滤而显著降低的传播率压低到1以下。模拟显示,二十年前可能比Covid严重五倍的疾病,如今却成了无关紧要的问题。
Devcon d/acc 日
Devcon上的d/acc活动最积极的收获之一是,d/acc的框架成功地将来自不同领域的人聚集在一起,使他们对彼此的工作产生了真正的兴趣。
创建具有“多样性”的活动很简单,但让不同背景和兴趣的人真正相互联系却很困难。我仍然记得在中学和高中时被迫观看长时间的歌剧,而我个人觉得它们很无聊。我知道我“应该”欣赏它们,因为如果不这样,我就会被认为是没有文化的计算机科学粗人,但我并没有在更真实的层面上与内容产生共鸣。d/acc日完全没有这种感觉:人们似乎真的享受了解不同领域的不同工作。
如果我们想创造一个比统治、减速和毁灭更光明的替代方案,我们需要这种广泛的联盟建设。d/acc似乎确实在这方面取得了成功,这本身就显示了这个理念的价值。
d/acc的核心思想很简单:去中心化和民主的差异化防御加速。
我们需要构建一些技术,使攻防平衡向防御倾斜,并且不依赖于将更多权力交给集中权威。这两者之间有着内在的联系:任何形式的去中心化、民主或自由的政治结构在防御容易时发展最好,而在防御困难时面临最大的挑战——在这种情况下,结果更可能是所有人相互对抗的战争,最终形成强者统治的局面。
d/acc的核心原则适用于多个领域:
图表来自 My Techno-Optimis,
从我去年关于技术乐观主义的文章中可以看出,理解同时追求去中心化、防御性和加速思维的重要性的一种方法是将其与放弃这三者的哲学进行对比。
这种策略的挑战有两个方面。首先,从整体上看,技术和经济增长对人类是极其有利的,任何延迟都会带来难以估量的成本。其次,在一个非极权的世界中,不进步是不稳定的:谁“作弊”得最多,找到可信的方式继续进步,谁就会领先。减速主义策略在某些背景下可以在一定程度上发挥作用:例如,欧洲食品比美国食品更健康就是一个例子,核不扩散至今的成功也是另一个。但它们不能永远有效。
对于 d/acc,我们希望:
另一种理解d/acc的方法是回到2000年代末欧洲海盗党运动的一个框架:赋权。
目标是构建一个保留人类自主权的世界,既实现避免他人(无论是作为私人公民的其他人,还是政府,或超智能机器人)主动干预的消极自由,又实现我们塑造自己命运的能力,以及确保我们拥有知识和资源的积极自由。这与几个世纪以来的古典自由主义传统相呼应,其中也包括斯图尔特·布兰德对“工具获取”的关注,以及约翰·斯图尔特·密尔将教育与自由视为人类进步的关键组成部分——或许,人们还可以补充,巴克敏斯特·富勒希望看到全球解决过程是参与性和广泛分布的。我们可以将d/acc视为在21世纪的技术背景下实现这些相同目标的一种方式。
在我去年的文章中,d/acc特别关注防御性技术:物理防御、生物防御、网络防御和信息防御。然而,去中心化的防御不足以使世界变得伟大:你还需要一个前瞻性的积极愿景,来说明人类如何利用其新获得的去中心化和安全性来实现目标。
去年的文章确实包含了一个积极的愿景,在两个地方:
但这两个观点与d/acc的论点似乎没有联系:“这里有一些在基础层面创造更民主和更有防御性的世界的想法,顺便提一下,这里还有一些与超智能无关的想法。”
然而,我认为实际上,“防御性”和“进步性”d/acc技术之间有一些非常重要的联系。让我们通过增加这个轴(同时将其重新标记为“生存与发展”)来扩展去年的d/acc图表,看看会有什么结果:
在所有领域中,有一种一致的模式,即可以帮助我们在一个领域“生存”的科学、思想和工具与可以帮助我们“繁荣”的科学、思想和工具密切相关。一些例子:
此外,不同学科之间还存在重要的相互依赖关系:
不同的人对人工智能的时间线有很大差异。
这张图来自2023年的黑山Zuzalu。
我去年文章中最有说服力的反对意见来自人工智能安全社区。论点是:“当然,如果我们还有半个世纪才能拥有强人工智能,我们可以集中精力构建所有这些好的东西。但实际上,看起来我们只有三年的时间线才能实现通用人工智能(AGI),再过三年才能实现超智能。因此,如果我们不想让世界被毁灭或陷入不可逆转的陷阱,我们不仅要加速好的事物,还必须减缓坏的事物,这意味着必须通过强有力的监管,这可能会让有权势的人感到不满。”在我去年的文章中,我确实没有呼吁任何具体的“减缓坏事物”的策略,除了对不构建风险形式的超智能的模糊呼吁。因此,在这里,值得直接回答这个问题:如果我们生活在一个 最不方便的世界,人工智能风险高,时间线可能只有五年,我会支持什么样的监管?
去年,主要提出的人工智能监管是加利福尼亚州 SB-1047 法案。SB-1047要求最强大的模型的开发者(那些训练成本超过1亿美元,或微调超过1000万美元的模型)在发布之前采取一些安全测试措施。此外,如果他们未能尽到足够的注意义务,法案还对人工智能模型的开发者施加责任。许多反对者认为该法案“威胁到开源”;我不同意,因为成本门槛意味着它只影响最强大的模型:甚至LLama3可能都低于这个门槛。然而,回顾起来,我认为法案存在更大的问题:与大多数监管一样,它过于适应当前的情况。对训练成本的关注在面对新技术时显得脆弱:最近的最先进的Deepseek v3模型的训练成本仅600万美元,而在新模型如o1中,成本正在更普遍地从训练转向推理。
其次,实际上负责人工智能超智能灾难场景的最可能的参与者是军方。
正如我们在去半个世纪的生物安全(及其他领域)中所见,军方愿意做一些可怕的事情,他们也容易犯错误。今天,人工智能在军事上的应用正在迅速推进(参见乌克兰、加沙)。而政府通过的任何安全监管,默认情况下都会使他们自己的军队和与军队紧密合作的公司免责。
尽管如此,这些论点并不是让我们束手无策的理由。相反,我们可以将它们作为指南,尝试制定尽量减少这些担忧的规则。
如果某人以某种方式造成了法律上可追究的损害,他们可能会被起诉。这并不能解决来自军方和其他“超越法律”行为者的风险问题,但这是一个非常通用的做法,避免了过度适应,并且通常得到倾向自由主义的经济学家的支持,正是出于这个原因。
迄今为止已考虑的主要责任目标是:
将责任归于用户似乎是最符合激励的。虽然模型的开发方式与最终使用方式之间的联系常常不清楚,但用户确切决定了人工智能的使用方式。对用户施加责任会产生强大的压力,促使他们以我认为正确的方式使用人工智能:专注于为人类思维构建机械外骨骼,而不是创造新的自给自足的智能生命形式。前者会定期响应用户意图,因此不会导致灾难性行为,除非用户希望这样。后者则有最大的风险,可能导致经典的“人工智能失控”场景。将责任尽可能接近最终使用的另一个好处是,它最大限度地减少了责任导致人们采取其他有害行动的风险(例如,闭源、KYC和监控、国家与企业勾结秘密限制用户,例如取消银行账户、锁定世界大片区域)。
对仅将责任归于用户有一个经典的反对论点:用户可能是没有太多钱的普通个人,甚至是匿名的,没有人能实际赔偿灾难性损害。这个论点可能被夸大:即使某些用户太小而无法承担责任,人工智能开发者的平均客户并非如此,因此人工智能开发者仍然会有动力构建能够让用户确信不会面临高责任风险的产品。尽管如此,这仍然是一个有效的论点,需要得到解决。你需要激励管道中的某个人,他们有资源采取适当的注意义务,而部署者和开发者都是容易的目标,他们仍然对模型的安全性或不安全性有很大的影响。
对部署者施加责任似乎是合理的。一个常被提到的担忧是,这对开源模型可能不起作用,但这似乎是可以管理的,尤其是因为最强大的模型很可能无论如何都是闭源的(如果它们最终是开源的,那么尽管部署者责任并没有太大用处,但也不会造成太大伤害)。开发者责任也存在同样的担忧(尽管对于开源模型来说,需要微调模型以使其执行一些原本不允许的操作会有一些障碍),但同样的反驳适用。作为一般原则,对控制施加“税”,并基本上说“你可以构建你无法控制的东西,或者你可以构建你控制的东西,但如果你构建你控制的东西,那么20%的控制必须用于我们的目的”,似乎是法律系统可以采取的合理立场。
一个似乎尚未得到充分探讨的想法是将责任归咎于管道中的其他参与者,这些参与者更能保证拥有充足的资源。一个对 d/acc 非常友好的想法是 让人工智能接管的任何设备的所有者或操作员承担责任 (例如通过黑客攻击)在执行一些灾难性有害操作的过程中。这将产生非常广泛的激励,促使人们努力工作,使世界(尤其是计算和生物)基础设施尽可能安全。
如果我确信我们 需要 比责任规则更“强有力”的东西,这就是我想要的。目标是能够在关键时期将全球可用计算量减少约 90-99%,持续 1-2 年,为人类争取更多时间做好准备。 1-2年的价值不应被夸大:一年的“战时模式”很容易抵得上在自满的情况下工作一百年。实施方法“暂停“已经进行了探讨,包括具体建议,例如 需要注册 和 验证位置 硬件。
更先进的方法是使用巧妙的加密技巧:例如,生产的工业规模(但不是消费级)人工智能硬件可以配备可信硬件芯片,只有在一次获得 3/3 签名的情况下才允许其继续运行一周来自主要国际机构,包括至少一个非军事附属机构。签名将是独立于设备的(如果需要,我们甚至可以要求零知识证明它们是在区块链上发布的),因此这将是全有或全无:没有实用的方法来授权一台设备继续运行而不授权所有其他设备。
这感觉就像它在利益最大化和风险最小化方面“勾选了复选框”:
硬件监管已经得到强烈考虑,尽管通常是通过 出口管制,其固有的理念是“我们信任自己的一方,但不信任对方”。利奥波德·阿申布伦纳 (Leopold Aschenbrenner) 曾主张美国应该 争夺决定性优势 进而 本质上是在迫使中国 签署一份 协议 限制多少 盒子 他们被允许奔跑。对我来说,这种方法似乎有风险,并且可能会结合以下缺陷: 多极种族 和集中化。如果我们必须限制人,那么似乎更好的是在平等的基础上限制每个人,并努力实际尝试合作来组织这一点,而不是一个政党试图主宰其他所有人。
这两种策略(责任和硬件暂停按钮)都有不足之处,显然它们只是临时的解决方案:如果在某个时间点T时某项技术可以在超级计算机上实现,那么在T+5年时,它很可能也能在普通笔记本电脑上实现。因此,我们需要更稳定的解决方案来争取时间。许多d/acc技术在这方面是相关的。我们可以从以下几个方面来看待d/acc技术的作用:如果人工智能接管了世界,它将如何做到这一点?
正如上面简要提到的, 责任规则自然是一种对 d/acc 友好的监管方式,因为它们可以非常有效地激励世界各地采用这些防御措施并认真对待它们。台湾 一直在尝试 最近的虚假广告责任,可以被视为利用责任鼓励信息防御的一个例子。我们不应该 也 热衷于将责任无处不在,并记住普通自由的好处,使小人物能够参与创新而不必担心诉讼,但是当我们确实希望更有力地推动安全时,责任可以相当灵活和有效。
d/acc 的大部分内容远远超出了典型的区块链主题:生物安全、BCI 和协作讨论工具似乎与加密货币人士通常谈论的事情相去甚远。然而,我认为加密货币和 d/acc 之间存在一些重要的联系,特别是:
Cursive是一款应用,通过完全同态加密(FHE)允许用户识别与其他用户的共同兴趣领域,同时保护隐私。这款应用在Zuzalu的众多分支之一Edge City中使用,地点在清迈。
除了这些直接交叉点之外,还有另一个重要的共同兴趣点: 筹资机制。
我一直感兴趣的是寻找更好的机制来资助公共产品:对非常大群体有价值的项目,但没有自然可行的商业模式。我过去在这方面的工作包括我对二次融资及其在Gitcoin Grants中的应用、复古公共产品融资(PGF),以及最近的深度融资的贡献。
许多人对公共物品这个概念持怀疑态度。怀疑论通常有两个来源:
这些都是重要的批评,也是好的批评。然而,我认为强大的去中心化公共产品资金对于 d/acc 愿景至关重要,因为关键的 d/acc 目标(最小化中心控制点)本质上会挫败许多传统的商业模式。在开源基础上建立成功的企业是可能的 - 一些 奖项 受赠者 正在这样做 - 但在某些情况下,重要项目需要额外的持续支持已经够困难的了。因此, 我们必须做困难的事情,并找出如何以解决上述批评的方式进行公共物品资助。
第一个问题的解决方案基本上是 可信的中立性 和 @VitalikButerin/the-meaning-of-decentralization-a0c92b76a274">权力下放。中央计划是有问题的,因为它把控制权交给了可能会滥用权力的精英,而且因为它经常 过度适应目前的情况 并且随着时间的推移变得越来越无效。二次方融资和类似机制正是以一种尽可能可信的中立和(结构上和政治上)去中心化的方式为公共产品提供资金。
第二个问题更具挑战性。对于二次方融资,一个常见的批评是它 很快就变成了一场人气竞赛,要求项目资助者花费大量精力公开宣传。此外,“在人们眼前”的项目(例如最终用户应用程序)会获得资助,但更多的是在后台的项目(原型“内布拉斯加州一个人维持的依赖”)根本得不到任何资金。乐观复古资金依赖于较少数量的专家徽章持有者;在这里,人气竞赛的影响被削弱,但与徽章持有者建立密切个人联系的社会影响被放大。
深度融资 是我自己为解决这个问题所做的最新努力。深度融资有两个主要创新点:
但深度融资只是最新的例子。之前已经有过其他公共产品融资机制的想法,未来还会有更多。 同种异体专家 对它们进行很好的编目。 根本目标是创建一个社会工具,能够以一定程度的准确性、公平性和开放性为公共产品提供资金,至少类似于市场为私人产品提供资金的方式。它不必是完美的;毕竟,市场本身远非完美。但它应该足够有效,让致力于造福每个人的高质量开源项目的开发人员能够继续这样做,而不需要做出不可接受的妥协。
今天,大多数d/acc相关领域的领先项目,如疫苗、脑机接、腕部肌电和眼动追等“边缘脑机接口”、抗衰老药物和硬件等,都是专有的。这在获取公众信任方面存在很大问题,正如我们在许多上述领域已经看到的那样。这也使得人们的注意力转向竞争(“我们的团队必须赢得这个关键行业!”),而忽视了确保这些技术能够快速发展,以便在超智能人工智能的世界中保护我们的更大竞争。因此,强有力的公共产品融资可以成为开放性和自由的重要推动力。这是加密社区可以帮助d/acc的另一种方式:通过深入探索这些融资机制并使其在自身环境中有效运作,为更广泛的开源科学和技术的采用做好准备。
未来几十年将带来重大挑战。最近我想到了两个挑战:
然而,每一个挑战都有一线希望。第一的, 我们现在拥有非常强大的工具来更快地完成剩余的工作:
其次,许多我们重视的原则不再被旧有特定群体所占有,它们可以被任何人欢迎加入的广泛联盟重新夺回。这可能是最近全球政治“重组”带来的最大好处,也是值得我们利用的机会。加密技术已经很好地抓住了这一点并找到了全球吸引力;d/acc同样可以做到这一点。
获得工具意味着我们能够适应和改善我们的生物学和环境,而 d/acc 的“防御”部分意味着我们能够在不侵犯他人做同样事情的自由的情况下做到这一点。 自由主义多元主义原则 意味着我们在实现这一目标的方式上可以有很大的多样性,而我们对共同人类目标的承诺意味着它应该完成。
我们人类仍然是最闪亮的星星。我们面前的任务是建设一个更加光明的 21 世纪,在我们迈向星空的过程中保护人类的生存、自由和能动性,这是一项艰巨的任务。但我相信我们能够做到。