特别感谢 Morgan Beller、Juan Benet、Eli Dourado、Karl Floersch、Sriram Krishnan、Nate Soares、Jaan Tallinn、Vincent Weisser、Balvi 志愿者和其他人的反馈和审查。
上个月,马克·安德森 (Marc Andreessen) 发表了他的“技术乐观主义者宣言“,主张重新燃起对技术、市场和资本主义的热情,将其作为构建技术并推动人类走向更加光明的未来的手段。宣言明确拒绝了它所描述的停滞意识形态,这种意识形态害怕进步并优先考虑保护当今世界。这份宣言受到了很多关注,包括来自以下组织的回应文章诺亚·史密斯,罗宾汉森,约书亚·甘斯 (更积极),以及戴夫·卡普夫,卢卡·罗佩克,埃兹拉·克莱因 (更消极)和许多其他。詹姆斯·佩索库基斯 (James Pethokoukis) 的“与本宣言无关,但主题相似”保守的未来主义者“和钯金的”是时候为美好而建设了”。这个月,我们看到了类似的争论颁布 通过OpenAI之争,其中涉及许多围绕超级智能 AI 的危险以及 OpenAI 发展太快的可能性的讨论。
我自己对技术乐观主义的感受是温暖的,但又微妙。我相信,由于彻底变革的技术,未来将比现在更加光明,并且我相信人类和人性。我拒绝这样的心态,即我们应该尽力做的最好的事情就是让世界与今天大致相同,但减少贪婪和更多的公共医疗保健。然而,我认为不仅大小很重要,方向也很重要。某些类型的技术比其他类型的技术更可靠地让世界变得更好。如果开发某些类型的技术,可以减轻其他 技术类型。世界对某些技术发展方向的指数过高,而对另一些方向的指数偏低。我们需要人类主动的意图来选择我们想要的方向,因为“利润最大化”的公式不会自动到达它们。
在这篇文章中,我将讨论技术乐观主义意味着什么我。这包括更广泛的世界观,它激励我在某些类型的区块链和密码学应用程序和社会技术以及我表示感兴趣的其他科学领域开展工作。但对这个更广泛问题的看法也对人工智能和许多其他领域产生影响。我们技术的快速进步可能会成为二十一世纪最重要的社会问题,因此仔细思考它们很重要。
在某些圈子里,人们普遍低估技术的好处,并将其主要视为反乌托邦和风险的根源。在过去的半个世纪中,这往往源于对环境的担忧,或者源于对利益只会惠及富人的担忧,而富人将巩固对穷人的权力。最近,我也开始看到自由主义者 对某些技术感到担忧,因为担心这些技术会导致权力集中。这个月,我做到了一些民意调查 提出以下问题:如果一项技术必须 被限制,因为太危险了,不能让任何人使用,他们会希望它被垄断还是推迟十年?我惊讶地发现,在三个平台和三种垄断者选择中,一致压倒性地投票支持推迟。
因此,有时我担心我们矫枉过正,许多人错过了论点的反面:这技术的好处 是真的非常巨大,在我们可以衡量的轴上,好处远远超过坏处,即使延迟十年的成本也非常高。
举一个具体的例子,我们来看一张预期寿命图表:
我们看到了什么?上个世纪,取得了真正的巨大进步。全世界都是如此,无论是历史上富裕和占主导地位的地区,还是贫穷和被剥削的地区。
一些人指责技术制造或加剧了极权主义和战争等灾难。事实上,我们可以在图表上看到战争造成的死亡人数:一个是在 1910 年代(第一次世界大战),一个是在 1940 年代(第二次世界大战)。如果你仔细观察,西班牙流感、大跃进等非军事悲剧也可见一斑。但该图表清楚地表明了一件事:即使是如此可怕的灾难也会被不断进步的巨大程度所压倒。食物,卫生,药品 以及那个世纪发生的基础设施。
我们日常生活的巨大改善也反映了这一点。感谢互联网,世界上大多数人 触手可及的信息,这在二十年前是无法获得的。由于国际支付和金融的改善,全球经济变得更加便利。全球贫困是迅速下降。有了在线地图,我们不再需要担心在城市里迷路,如果您需要快速回家,我们现在可以更方便地叫车。我们的财产变得数字化,我们的实物商品变得便宜,意味着我们对物理盗窃的恐惧要少得多。在线购物缩小了全球大城市与世界其他地区之间获取商品的差距。自动化以各种方式为我们带来了永远被低估的好处,即简单地制造我们的生活更加方便。
这些改进,无论是可量化的还是不可量化的,大的。在二十一世纪,很可能很快就会出现更大的改进。如今,终结衰老和疾病似乎是乌托邦。但从角度来看1945 年存在的计算机在现代,将芯片植入到几乎所有东西中似乎是乌托邦:即使是科幻电影也经常将计算机房间大小保留下来。如果生物技术在未来 75 年中的进步与计算机在过去 75 年中的进步一样多,那么未来可能会比几乎任何人的预期更加令人印象深刻。
与此同时,对进步表示怀疑的论点往往走向黑暗。甚至医学教科书,比如 20 世纪 90 年代的这本(信用艾玛·斯泽夫扎克 为了找到它),有时会提出极端的主张,否认两个世纪医学科学的价值,甚至认为拯救人类生命显然没有好处:
这“增长的极限” 论文是 20 世纪 70 年代提出的一个想法,认为不断增长的人口和工业最终会耗尽地球有限的资源,最终激发了人们的灵感中国的独生子女政策 和印度大规模强制绝育。在早期时代,对人口过剩的担忧被用来证明合法 大量的谋杀。这些想法,争论自1798年以来, 有着悠久的历史被证明是错误的。
正是由于这些原因,作为一个起点,我发现自己对减缓技术或人类进步的论点感到非常不安。考虑到所有部门之间的相互关联程度,甚至部门的 经济放缓是有风险的。因此,当我写下类似我将在这篇文章后面所说的内容时,背离对无论其形式如何的进步的公开热情,这些都是我怀着沉重的心情发表的声明 - 然而,21 世纪足够不同和独特,这些细微差别值得考虑。
也就是说,在更广阔的前景中需要注意一个重要的细微差别,特别是当我们超越“技术作为一个整体是好的”而进入“哪些特定技术是好的?”这一主题时。在这里,我们需要谈谈许多人主要关心的问题:环境。
A主要例外 过去一百年来几乎一切都在变得更好的趋势是气候变化:
即使气温持续上升的悲观情景也不会导致人类真正的灭绝。但这种情况可能会比大规模战争造成更多的死亡,并严重损害那些已经陷入困境的地区的人们的健康和生计。瑞士再保险研究所的一项研究 研究表明,最坏的气候变化情景可能会使世界上最贫穷国家的 GDP 降低多达 25%。这项研究 表明印度农村地区的寿命可能比正常情况下短十年,并且像这样的研究这个 和这个 研究表明,到本世纪末,气候变化可能导致一亿人额外死亡。
这些问题都是大问题。对于为什么我对我们克服这些挑战的能力持乐观态度,我的回答是双重的。首先,经过几十年的炒作和一厢情愿的想法,太阳能 是最后 转动一个角落, 和电池等支持技术 正在取得类似的进展。其次,我们可以看看人类在解决以前的环境问题方面的记录。以空气污染为例。来认识一下过去的反乌托邦:1952 年的伦敦大烟雾。
从那以后发生了什么?让我们再问一下我们的数据世界:
事实证明,1952 年甚至还不是高峰:在 19 世纪末,更高浓度的空气污染物也只是接受并正常。从那时起,我们经历了一个世纪的持续快速下降。我在访问中国时亲身经历了这个结局:2014年,空气中雾霾严重,预计预期寿命将减少五年以上,都是正常的,但到了 2020 年,空气似乎和许多西方城市一样干净。这不是我们唯一的成功故事。在世界许多地方,森林面积正在增加。酸雨危机正在改善。这臭氧层已经恢复 几十年来。
对我来说,这个故事的寓意就是这样。很多时候,情况确实如此我们文明技术的 N 版本引起了问题,N+1 版本修复了它。然而,这不会自动发生,需要人为努力。臭氧层正在恢复,因为通过《蒙特利尔议定书》等国际协议,我们使其恢复。空气污染正在改善,因为我们改善了它。同样,太阳能电池板并没有得到很大的改善,因为它是能源技术树中预定的一部分。太阳能电池板已经变得越来越好,因为几十年来人们意识到解决气候变化的重要性,这促使工程师致力于解决这个问题,也促使公司和政府资助他们的研究。这是有意识的行动,通过公共话语和文化进行协调,塑造政府、科学家、慈善家和企业的观点,而不是无情的“技术资本机器”,已经解决了这些问题。
我看到的许多关于人工智能的轻蔑态度都来自这样的观点:它“只是另一种技术”:与社交媒体、加密、避孕、电话、飞机、枪支、印刷属于同一类事物。按下和滚轮。这些事情显然具有非常重要的社会影响。它们不仅仅是对个人福祉的孤立改善:它们从根本上改变了文化,改变了权力平衡,并伤害了严重依赖先前秩序的人们。许多反对他们。总的来说,悲观主义者的结果总是错误的。
但有一种不同的方式来思考人工智能是什么:它是一个新思维 它们的智力正在迅速提高,并且很有可能超越人类的智力,成为地球上新的顶尖物种。中的事物类别那 类别要小得多:我们可能会合理地包括人类超越猴子、多细胞生命超越单细胞生命、生命本身的起源,也许还有工业革命,机器在这场革命中击败了人类身体的 力量。突然间,感觉我们正走在人迹罕至的地方。
人工智能出错可能使世界变得更糟的一种方式是(几乎)最糟糕的可能方式:它可以字面上导致人类灭绝。这是一个极端的说法:尽管气候变化、人为流行病或核战争等最坏情况可能造成多大的伤害,但仍有许多文明岛屿完好无损,可以收拾残局。但超级智能人工智能如果决定与我们为敌,很可能没有幸存者,并永远终结人类。甚至火星 可能不安全。
令人担忧的一个重要原因是工具趋同:对于超级智能实体可能拥有的非常广泛的目标,人工智能可以采取两个非常自然的中间步骤来更好地实现这些目标:(i)消耗资源,以及(ii)确保其安全。地球蕴藏着丰富的资源,人类是一个可预测的威胁 为了这样一个实体的安全。我们可以 试图给人工智能一个明确的爱和保护人类的目标,但我们有不知道 如何实际上 做那 人工智能一旦出现就不会完全崩溃遇到意外情况。因此,我们遇到了问题。
MIRI 研究员 Rob Bensinger 的尝试 说明不同的人对人工智能杀死所有人或做出几乎同样糟糕的事情的可能性的估计。许多立场都是基于人们的公开声明的粗略估计,但许多其他立场也公开给出了他们的精确估计;不少人的“厄运概率”超过25%。
A机器学习研究人员调查 从 2022 年开始,研究人员认为平均而言,人工智能有 5-10% 的几率杀死我们所有人:与统计上预期的概率大致相同您将死于非生物原因,例如受伤。
这都是一个推测性假设,我们都应该警惕涉及复杂的多步骤故事的推测性假设。然而,这些论点已经经受了十多年的审查,因此,似乎至少值得担心一点。但即使你不担心真正的灭绝,也有其他原因让你感到害怕。
许多现代科幻小说都是反乌托邦的,对人工智能的描述很糟糕。即使是非科幻小说尝试识别可能的人工智能未来也常常会给出结果相当没有吸引力的答案。所以我四处询问这个问题:对于包含超级人工智能的未来的描述是什么,无论是科幻小说还是其他形式,我们将想 居住。迄今为止最常出现的答案是 Iain Banks 的文化系列。
《文化》系列讲述了一个遥远未来的星际文明,主要由两种角色占据:普通人类和被称为“心灵”的超级智能人工智能。人类得到了增强,但只是轻微的增强:医疗技术理论上允许人类无限期地生存,但大多数人选择只活 400 年左右,似乎是因为他们对那时的生活感到厌倦。
从表面上看,人类的生活似乎是美好的:舒适,健康问题得到照顾,娱乐选择多种多样,人与心灵之间存在着积极的协同关系。然而,当我们深入思考时,就会发现一个问题:似乎心灵完全掌控一切,而人类在故事中的唯一角色就是充当心灵的棋子,代表他们执行任务。
引用自加文·里奇的《反对文化》:
人类并不是主角。即使书中似乎有一个人类主角,做着严肃的大事,但他们实际上是人工智能的代理人。 (扎卡维是唯一的例外之一,因为他可以做思想不想做的不道德的事情。)“文化中的思想不需要人类,但人类又需要被需要。” (我认为只有一小部分人需要——或者说,只有一小部分人需要它足以放弃许多舒适。大多数人的生活规模并不大。这仍然是一个很好的批评。)
人类所承担的项目存在不真实的风险。几乎他们所做的任何事情,机器都可以做得更好。你能做什么?如果你从正在攀爬的悬崖上掉下来,你可以命令头脑不要抓住你——只是因为;你可以删除你头脑中的备份,这样你就真的在冒险了。你也可以离开文化并重新加入一些老式的、不自由的“强烈评价”的文明。另一种选择是通过加入“接触”来传播自由。
我认为,即使是文化系列中赋予人类“有意义”的角色也是一种延伸。我问 ChatGPT(还有谁?)为什么人类被赋予了他们被赋予的角色,而不是头脑完全自己做所有的事情,我个人发现它的答案 相当平庸。似乎很难拥有一个由人工智能主导的“友好”的超级智能世界,其中人类除了宠物之外什么都不是。
我不想看到的世界。
许多其他科幻系列都假设了一个存在超级人工智能的世界,但是接受命令 来自(未增强的)生物人类大师。 《星际迷航》就是一个很好的例子,展示了星际飞船与它们的和谐相处的愿景人工智能“计算机” (和数据)及其人类操作员和机组人员。然而,这感觉像是一种极其不稳定的平衡。 《星际迷航》的世界目前看来是田园诗般的,但很难想象它对人类与人工智能关系的愿景只是星际飞船十年前的一个过渡阶段。完全 计算机控制,无需再受宽大的走廊、人工重力和气候控制的困扰。
向超级智能机器发出命令的人类远不如机器聪明,而且它能获取的信息也更少。在一个存在任何程度竞争的宇宙中,人类处于次要地位的文明将胜过那些人类顽固地坚持控制的文明。此外,计算机本身 可能会夺取控制权。要了解原因,请想象您在法律上是一个八岁孩子的真正奴隶。如果你能和孩子长时间交谈,你认为你能说服孩子在一张纸上签字,让你获得自由吗?我没有进行过这个实验,但我本能的回答是肯定的。总而言之,人类成为宠物似乎是一个很难逃脱的吸引力。
中国有句俗话“天高皇帝远”,概括了政治集权局限性的一个基本事实。即使在名义上庞大而专制的帝国中 - 事实上,尤其 如果专制帝国规模很大,领导层的影响力和关注度就会受到实际限制,领导层需要将权力委托给当地代理人来执行其意志,这会削弱其执行意图的能力,因此总有一些地方存在一定程度的实际影响自由统治。有时,这可能会带来负面影响:缺乏执行统一原则和法律的遥远国家,可能会为当地霸主的盗窃和压迫创造空间。但如果集中权力恶化,注意力和距离的实际限制可能会限制其恶化程度。
有了人工智能,就不再是这样了。二十世纪,现代交通技术使得距离的限制对中央集权的约束比以前弱得多。 20 世纪 40 年代伟大的极权主义帝国在一定程度上是其结果。在二十一世纪,可扩展的信息收集和自动化可能意味着注意力也将不再是一种限制。政府自然限制消失的后果完全 可能会很可怕。
数字威权主义已经十年来呈上升趋势,监控技术已经为专制政府提供了镇压反对派的强大新策略:让抗议活动发生,然后发现并发现悄悄地去追 参与者们事后。更一般地说,我基本担心的是,让 OpenAI 能够为超过一亿客户提供服务的同类管理技术500名员工 还将允许500人的政治精英,甚至5人的董事会,对整个国家保持铁腕统治。有了现代监控来收集信息,现代人工智能来解释信息,可能就无处藏身了。
当我们考虑人工智能在战争中的后果时,情况会变得更糟。引用一个半著名帖子 关于人工智能和加密货币的哲学0x阿尔法:
在不需要政治思想工作和战争动员的情况下,战争最高统帅只需把局势本身当作一盘棋来考虑,完全不顾棋盘上棋子、骑士、车的思想和情绪。棋盘。战争变成了纯粹的技术游戏。
此外,政治思想工作和战争动员需要任何人发动战争的理由。不要低估这种“正当理由”的重要性。几千年来,它一直是人类社会战争的合法性制约。任何人想要发动战争都必须有一个理由,或者至少有一个表面上合理的借口。您可能会说这个约束太弱了,因为在许多情况下,这只不过是一个借口。例如,有些(如果不是全部)十字军东征确实是为了占领土地、掠夺财富,但它们必须以上帝的名义进行,即使被掠夺的城市是上帝的君士坦丁堡。然而,即使是弱约束仍然是约束!仅仅这个小小的借口要求实际上就阻止了战争制造者完全不择手段地实现他们的目标。即使像希特勒这样的邪恶势力也不可能立即发动战争,他必须先花费数年时间试图说服德国民族为高贵的雅利安人种争取生存空间。
如今,“循环中的人”成为对独裁者发动战争或在内部压迫其公民的权力的重要制衡。循环中的人类有阻止 核战争,允许打开柏林墙,并在期间拯救了生命暴行 喜欢这 大屠杀。如果军队是机器人,那么这项检查就完全消失了。独裁者可能会在晚上 10 点喝醉,在晚上 11 点对人们在推特上对他们刻薄而感到愤怒,而机器人入侵舰队可能会在午夜之前越过边境,向邻国的平民和基础设施倾泻地狱之火。
与以前的时代不同的是,那里总是有一些遥远的角落,那里天高皇帝远,政权的反对者可以在那里重新集结和隐藏,并最终找到一种方法让事情变得更好,而21世纪的人工智能是极权主义的政权很可能对世界保持足够的监视和控制,以永远“锁定”。
在过去的几个月里,“e/acc”(“有效加速主义者”)运动获得了很大的支持。由“Beff Jezos”总结如下,e/acc 从根本上讲是对技术进步真正巨大好处的认识,以及渴望加速 这种趋势能够更快地带来这些好处。
我发现自己在很多情况下都赞同 e/acc 的观点。有很多证据表明FDA 太保守了 就其愿意推迟或阻止药物批准而言,总体而言,生物伦理学似乎常常遵循这样的原则:“20 人在医学实验出错中死亡是一场悲剧,但 20 万人因挽救生命的治疗而死亡”延迟是一个统计数据”。审批延迟新冠病毒检测和疫苗, 和疟疾疫苗,似乎进一步证实了这一点。然而,这种观点可能走得太远了。
除了我对人工智能相关的担忧之外,我对e/acc 热情 为了军事技术。在 2023 年的当前背景下,美国正在制造这项技术并立即应用于保卫乌克兰,很容易看出它如何成为一股正义的力量。然而,从更广泛的角度来看,对现代军事技术作为正义力量的热情似乎需要相信占主导地位的技术力量将可靠地成为大多数冲突中现在和未来的好人之一:军事技术很好,因为军事技术是由美国建造和控制的,而且美国很好。成为一名 e/acc 是否需要成为一名美国最高主义者,将一切都押在政府现在和未来的道德以及国家未来的成功上?
另一方面,我认为需要新的方法来思考如何降低这些风险。这OpenAI 治理结构 就是一个很好的例子:这似乎是一种善意的努力,旨在平衡盈利的需要,以满足提供初始资本的投资者的愿望,并希望进行制衡,以阻止可能导致 OpenAI 崩溃的举动。世界。然而在实践中,他们最近试图解雇萨姆·奥尔特曼 使得这个结构看起来像是一个彻底的失败:它将权力集中在一个由五人组成的不民主且不负责任的董事会中,他们根据秘密信息做出关键决策,并拒绝透露其推理的任何细节直到员工威胁要辞职 全体。不知何故,非营利组织的董事会表现得很糟糕,以至于公司的员工已创建 一个临时的事实上的联盟…与亿万富翁首席执行官站在一起反对他们。
总的来说,我看到太多拯救世界的计划,其中包括赋予一小群人极端和不透明的权力,并希望他们明智地使用它。因此,我发现自己被一种不同的哲学所吸引,这种哲学对于如何应对风险有详细的想法,但它寻求创建和维护一个更加民主的世界,并试图避免将集权作为解决我们问题的首选。这一理念也比人工智能更广泛,我认为即使在人工智能风险担忧基本上没有根据的世界中,它也适用。。我将把这种哲学称为d/acc。
dacc3
这里的“d”可以代表很多东西;特别,防御,权力下放,民主 和微分。首先,考虑一下防守,然后我们可以看看这与其他解释有何联系。
思考技术的宏观后果的一个框架是着眼于防守与进攻的平衡。从广义上讲,某些技术使攻击他人变得更容易:做违背他们利益的事情,他们觉得有必要做出反应。其他人则使防御变得更容易,甚至在不依赖大型中心化参与者的情况下进行防御。
出于多种原因,有利于防御的世界是一个更好的世界。首先当然是安全的直接好处:更少的人死亡,更少的经济价值被破坏,更少的时间浪费在冲突上。但人们较少意识到的是,一个有利于国防的世界使得更健康、更开放和更尊重自由的治理形式更容易蓬勃发展。
一个明显的例子是瑞士。瑞士通常被认为是现实世界中最接近古典自由主义治理乌托邦的国家。大量权力下放给各省(称为“州”),重大决策是由全民投票决定以及很多当地人连总统是谁都不知道。这样的国家如何生存极具挑战性 政治的压力?的一部分回答 是出色的政治策略,但另一个主要部分是非常有利于防御的地理位置) 以其山区地形的形式。
国旗是一个很大的优点。但山也是如此。
詹姆斯·C·斯科特的新书中对佐米亚的无政府主义社会进行了著名的描述《不被统治的艺术》,是另一个例子:他们也能保持自由和独立,这在很大程度上要归功于山区地形。与此同时,欧亚草原与治理乌托邦完全相反。莎拉潘恩的阐述海上强国与大陆强国 提出了类似的观点,但重点是水作为防御屏障而不是山脉。事实上,自愿贸易的便利性和非自愿入侵的难度的结合,对于瑞士和岛国来说都是共同的,这似乎是人类繁荣的理想选择。
在为以太坊生态系统内的二次融资实验提供建议时,我发现了一个相关的现象:特别是Gitcoin 赠款融资轮次。在第四轮,当一些收入最高的接收者是 Twitter 影响者时,发生了一起小型丑闻,他们的贡献被一些人视为积极的,而另一些人则视为消极的。我自己对这种现象的解释是存在不平衡:二次方融资 允许您发出信号表明您认为某物是公益,但它无法表明某物是公共不良。在极端情况下,完全中立的二次融资系统将为战争双方提供资金。所以对于第五轮,我建议 Gitcoin 应该包括负贡献:您支付 1 美元减少 给定项目收到的金额(并隐式地将其重新分配给所有其他项目)。结果:地段 的人们 讨厌的它。
第五轮之后流传的众多网络梗之一。
在我看来,这似乎是一个更大模式的缩影:建立去中心化的治理机制来处理消极的 外部性在社会上是一个非常棘手的问题。去中心化治理出错的首选例子是暴民正义,这是有原因的。有关于人类心理学的一些东西 这使得对消极因素的反应比对积极因素的反应更加棘手,而且更有可能出错。这就是为什么即使在高度民主的组织中,如何应对负面影响的决定也往往由中央委员会决定。
在许多情况下,这个难题是“自由”概念如此有价值的深层原因之一。如果有人说了一些冒犯你的话,或者有一种你认为令人厌恶的生活方式,你感受到的痛苦和厌恶是真实的,你甚至可能会发现挨打比接触这些事情更糟糕。但是,试图就哪些类型的冒犯和厌恶行为在社会上可以采取行动达成一致,可能比简单地提醒自己某些怪人和混蛋是我们生活在自由社会所付出的代价要付出更大的代价和危险。
然而,在其他时候,“微笑并忍受”的做法是不现实的。在这种情况下,有时值得关注的另一个答案是防御技术。互联网越安全,我们就越不需要侵犯人们的隐私并使用不正当的国际外交策略来追捕每个黑客。我们可以建造的越多用于在 Twitter 上屏蔽用户的个性化工具,用于检测诈骗的浏览器内工具 和区分错误信息的集体工具 和真相,我们为审查制度而斗争的次数就越少。我们制造疫苗的速度越快,我们就越不需要追捕超级传播者。这样的解决方案并不适用于所有领域 - 我们当然不希望每个人都必须穿着真正的防弹衣 - 但在我们需要的领域能 开发技术使世界更加有利于国防,这样做具有巨大的价值。
这一核心思想,即某些技术有利于防御,值得推广,而其他技术有利于进攻,应该予以阻止,它植根于有效的利他主义文献中,但名称不同:差异化技术开发。有一个好的牛津大学研究人员对这一原理的阐述 从 2022 年起:
图 1:差异化技术开发减少负面社会影响的机制。
将技术分类为进攻性、防御性或中性时不可避免地会存在缺陷。就像“自由”一样,人们可以争论社会民主党政府的政策是通过征收重税和胁迫雇主来减少自由,还是通过减少普通人对多种风险的担忧来增加自由,“防御”也有一些技术这可能属于光谱的两边。核武器有利于进攻,但核武器力量 是有利于人类繁荣 以及攻防中立。不同的技术在不同的时间范围内可能发挥不同的作用。但就像“自由”(或“平等”或“法治”)一样,边缘的模糊性与其说是反对该原则的论据,不如说是一个更好地理解其细微差别的机会。
现在,让我们看看如何将这一原则应用到更全面的世界观中。我们可以想到防御技术,比如其他技术,被分成两个领域:原子世界 和比特的世界。原子世界又可以分为微 (即生物学,后来的纳米技术)和宏 (即我们通常认为的“防御”,也是有弹性的物理基础设施)。我将在不同的轴上分割比特的世界:原则上就攻击者是谁达成一致有多难?。有时很容易;有时却很容易。我称之为网络防御。其他时候则比较困难;我称之为信息防御。
宏观领域最被低估的防御技术甚至不是铁穹顶 (包括乌克兰的新制度)和其他反科技和反导弹军事硬件,而是有弹性的物理基础设施。核战争造成的大部分死亡可能来自供应链中断,而不是最初的辐射和爆炸,像星链这样的低基础设施互联网解决方案在维护乌克兰的互联互通 在过去的一年半里。
构建工具来帮助人们独立或半独立地独立或半独立地生存,甚至过上舒适的生活,这似乎是一项有价值的防御技术,而且被证明对进攻有用的风险很低。
追求使人类成为多行星文明 也可以从 d/acc 的角度来看:让我们中至少有一些人在其他星球上自给自足地生活可以增强我们抵御地球上发生的可怕事情的能力。即使全面的愿景暂时被证明不可行,自给自足的生活形式 使这样一个项目成为可能所需要的开发也很可能有助于提高我们地球上的文明复原力。
尤其是由于其长期健康影响, Covid 仍然是忧虑。但新冠疫情还远不是我们将面临的最后一场流行病。现代世界的许多方面都可能导致更多的流行病即将到来:
这是一个区域加密救援 和奖项,由于一次重大意外事件,两个组织成立并获得资助柴犬硬币的意外收获 2021年,一直非常活跃。 CryptoRelief 最初专注于应对眼前的危机,最近一直在印度建立一个长期的医学研究生态系统,而 Balvi 一直专注于登月项目,以提高我们检测、预防和治疗新冠病毒和其他空气传播疾病的能力。 ++Balvi 坚持认为其资助的项目必须是开源的++。从中汲取灵感19世纪战胜霍乱的水利工程运动 和其他水传播病原体,它资助了一系列技术项目,这些技术可以使世界在默认情况下更加抵御空气传播病原体(参见:更新1 和更新2), 包括:
其他有前景的感兴趣领域包括废水病原体监测,改善建筑物的过滤和通风,并更好地理解和缓解空气质量不佳带来的风险。
有机会建立一个世界 默认情况下,它对自然和人为的空气传播流行病的抵抗力要强得多。这个世界将拥有一个高度优化的管道,我们可以从大流行开始,到被自动检测到,再到世界各地的人们能够获得有针对性的、本地可生产且可验证的开源疫苗 或者其他预防措施,通过管理雾化 或者鼻喷雾剂 (意思是:如果需要,可以自行给药,不需要针头),所有这些都在一个月内完成。与此同时,更好的空气质量将大大降低传播速度,并阻止许多流行病的蔓延。
想象一个不必诉诸社会强制大锤的未来——没有强制措施,甚至更糟,也没有被强制执行的风险。设计和执行不当的任务可能会让事情变得更糟 - 因为公共卫生基础设施已融入文明的结构中。这些世界是可能的,只要向生物防御提供中等数量的资金就可以实现这一目标。如果开发是开源的、免费向用户开放并作为公共产品受到保护,那么这项工作将会进行得更加顺利。
安全专业人士普遍认为,当前的计算机安全状况非常糟糕。也就是说,我们很容易低估所取得的进展。任何能够侵入用户钱包的人都可以匿名窃取数千亿美元的加密货币,同时更多的人丢失或被盗 出乎我的意料,事实上,十多年来,其中大部分都没有被盗。最近,有了一些改进:
但是,那缺少 其他领域的网络防御也导致了重大挫折。防范垃圾邮件的需要导致电子邮件成为实践中非常寡头垄断,使得自行托管或创建新的电子邮件提供商变得非常困难。许多在线应用程序,包括推特,要求用户登录才能访问内容,并阻止来自 VPN 的 IP,从而使以保护隐私的方式访问互联网变得更加困难。软件集中化也存在风险,因为“武器化的相互依存”:现代技术倾向于穿过集中的阻塞点,而这些阻塞点的运营者利用这种权力来收集信息、操纵结果或排除特定参与者——这一策略似乎目前正在采用反对区块链行业本身。
这些都是令人担忧的趋势,因为它威胁到了我历来最大的希望之一,即为什么自由和隐私的未来尽管存在深刻的权衡,但可能仍然是光明的。在他的书中《不完美的未来》大卫·弗里德曼预测,我们可能会得到一个妥协的未来:现实世界将受到越来越多的监视,但通过密码学,网络世界将保留甚至改善其隐私。不幸的是,正如我们所看到的,这种反趋势远不能保证。
这就是我自己强调区块链等密码技术的地方零知识证明 进来。区块链让我们能够通过“共享硬盘”创建经济和社会结构,而不必依赖集中的参与者。加密货币允许个人省钱并进行金融交易,就像在互联网出现之前用现金一样,而不依赖于可以随意改变其规则的可信第三方。它们还可以作为后备反女巫机制,使攻击和垃圾邮件变得昂贵 即使对于没有或不想透露其肉体空间身份的用户也是如此。帐户抽象,特别是社会恢复钱包,可以保护我们的加密资产以及未来潜在的其他资产,而无需过度依赖中心化中介机构。
可以使用零知识证明为了隐私,允许用户在不泄露私人信息的情况下证明自己的事情。例如,包裹一个数字护照签名 在 ZK-SNARK 中证明您是特定国家的独特公民,不透露您是哪位公民。像这样的技术可以让我们保持隐私和匿名的好处——这些属性被广泛认为是投票等应用程序所必需的 - 同时仍然获得安全保证并打击垃圾邮件和不良行为者。
ZK 社交媒体系统的拟议设计,可以进行审核操作并且可以对用户进行惩罚,而所有这些都不需要知道任何人的身份。
祖帕斯,孵化于快点 今年早些时候的实践就是一个很好的例子。这是一个应用程序,已被 Zuzalu 的数百人使用,最近又被数千人用于在开发连接,这使您可以持有门票、会员资格,(不可转让)数字收藏品和其他证明,并在不损害您的隐私的情况下证明所有这些内容。例如,您可以证明您是 Zuzalu 的唯一注册居民,或者 Devconnect 票证持有者,不透露任何有关您是谁的信息。这些证明可以通过二维码或数字方式亲自出示,以登录诸如祖波尔,一个仅向 Zuzalu 居民开放的匿名投票系统。
这些技术是 d/acc 原则的一个很好的例子:它们允许用户和社区在不损害隐私的情况下验证可信度,并保护他们的安全,而不依赖于强加他们自己定义谁好谁坏的中心化瓶颈。 它们通过创建比当今使用的常用技术更好、更公平的方法来保护用户或服务的安全,例如歧视整个被认为不值得信任的国家,从而提高全球可访问性。如果我们想要在 21 世纪保持信息安全的去中心化愿景,这些都是非常强大的原语,它们可能是必要的。更广泛地研究网络空间防御技术可以使互联网在未来的非常重要的方面更加开放、安全和自由。
正如我所描述的,网络防御是指理性的人很容易就攻击者是谁达成共识的情况。如果有人试图侵入你的钱包,人们很容易认为黑客是坏人。如果有人试图对网站进行 DoS 攻击,人们很容易认为他们是恶意的,并且在道德上与试图阅读网站内容的普通用户不同。在其他情况下,界限更加模糊。在这些情况下改善我们防御的工具我称之为“信息防御”。
以事实核查(又名,防止“错误信息”)为例。我是一个社区笔记的忠实粉丝,它在帮助用户识别其他用户所发推文的真伪方面做了很多工作。社区笔记使用了一种新的算法,该算法不会显示那些属于社区笔记的笔记最受欢迎,而是注释最受各政治派别的用户认可。
社区注释的实际应用。
我也是预测市场的粉丝,这可以帮助识别事件的重要性实时,在尘埃落定之前,就哪个方向是哪个方向达成共识。这山姆·奥尔特曼 (Sam Altman) 的 Polymarket 对每小时的揭露和谈判的最终后果进行有用的总结非常有帮助,为那些只看到个别新闻而不了解每条新闻的重要性的人提供了急需的背景信息。
预测市场常常存在缺陷。但那些愿意自信地表达他们认为明年“将”发生的事情的 Twitter 影响者往往存在更大的缺陷。预测市场仍有进一步改善的空间。例如,预测市场的一个主要实际缺陷是,除了最引人注目的事件外,所有事件的交易量都很低。尝试解决这个问题的一个自然方向是建立由人工智能发挥作用的预测市场。
在区块链领域,我认为我们需要更多特定类型的信息防御。也就是说,钱包应该更加坚定和积极地帮助用户确定他们正在签名的内容的含义,并保护他们免受欺诈和诈骗。这是一个中间案例:什么是骗局、什么不是骗局,比对有争议的社会事件的看法更主观,但比区分合法用户和 DoS 攻击者或黑客更主观。 Metamask 已经有一个诈骗数据库,并自动阻止用户访问诈骗网站:
应用程序如火 这些是走得更远的一种方法的例子。然而,像这样的安全软件不应该是需要显式安装的东西;默认情况下,它应该是加密钱包甚至浏览器的一部分。
由于其更主观的性质,信息防御本质上比网络防御更具集体性:您需要以某种方式融入一大群复杂的人来识别什么可能是真的或假的,以及什么样的应用程序是欺骗性的庞氏骗局。开发人员有机会在开发有效的信息防御和强化现有形式的信息防御方面走得更远。像社区笔记这样的东西可以包含在浏览器中,不仅涵盖社交媒体平台,还涵盖整个互联网。
在某种程度上,我可以合理地指责我通过将其中一些信息技术描述为与“防御”有关而硬塞。毕竟,防御是为了帮助善意的行为者免受恶意行为者(或者在某些情况下,免受自然)的侵害。然而,其中一些社交技术是关于帮助善意行为者形成共识。
一个很好的例子是波尔,它使用类似于社区笔记(并且早于社区笔记)的算法来帮助社区识别子部落之间的共识点,否则这些子部落在很多方面都存在分歧。观点.xyz 受到 pol.is 的启发,有着相似的精神:
此类技术可用于对有争议的决策进行更加去中心化的治理。同样,区块链社区是一个很好的试验场,并且此类算法已经显示出价值。一般来说,决定哪些改进(“欧洲投资银行”)以太坊协议的制定是由一个相当小的小组在名为“所有核心开发人员电话“。对于大多数社区成员没有强烈感情的高度技术性决策,这种方法相当有效。对于影响协议经济学的更重要的决策,或者影响不变性和审查阻力等更基本的价值观,这通常是不够的。早在 2016 年-17,当围绕实施一系列有争议的决定时DAO fork,减少发行并且(不)解冻 Parity 钱包、Carbonvote 等工具以及社交媒体投票帮助社区和开发者了解大多数社区意见的方向。
DAO 分叉上的碳投票。
碳投票有其缺陷:它依靠 ETH 持有量来确定谁是以太坊社区的成员,从而使结果由少数富有的 ETH 持有者(“鲸鱼”)主导。然而,借助现代工具,我们可以利用多种信号来制作更好的 Carbonvote,例如聚丙烯酰胺, Zupass 邮票,吉特币护照,礼宾协会会员资格,以及 ETH(甚至是单独质押的 ETH)持有量来衡量社区成员资格。
任何社区都可以使用此类工具来做出更高质量的决策、找到共同点、协调(物理或数字)迁移或做许多其他事情,而无需依赖不透明的集中领导。这本身并不是国防加速,但肯定可以称为民主加速。这些工具甚至可以用来改善人工智能领域关键参与者和机构的治理并使之民主化。
上述一切都很好,可以使下个世纪的世界变得更加和谐、安全和自由。然而,它还没有解决房间里的大象:超级智能人工智能。
许多担心人工智能的人建议的默认前进道路本质上会导致最小的人工智能世界政府。该方案的近期版本包括一项提案“跨国AGI联盟” (“魔法”)。这样的联盟如果成立并成功实现创造超级智能人工智能的目标,将自然而然地成为事实上的最小世界政府。从长远来看,有一些想法,例如“关键行动” 理论:我们创建一个人工智能来执行单一的一次性行为 它将世界重新安排成一个游戏,从那时起,人类仍然负责,但游戏棋盘在某种程度上更有利于防御,更适合人类的繁荣。
到目前为止,我看到的主要实际问题是人们似乎并不真正信任任何有能力构建这样的东西的特定治理机制。当你看看我最近的 Twitter 民意调查结果时,这个事实就变得显而易见了,我询问人们是否愿意看到人工智能被领先十年的单一实体垄断,或者人工智能为每个人推迟十年:
每次民意调查的规模都很小,但民意调查通过各种来源和选项得出的结果的一致性弥补了这一点。在九分之九的情况下,大多数人宁愿看到高度先进的人工智能彻底推迟十年,也不愿被单个团体垄断,无论是公司、政府还是跨国机构。在九个案例中的七个中,延迟至少以二比一获胜。对于任何追求人工智能监管的人来说,这似乎是一个需要理解的重要事实。目前的方法一直专注于制定许可计划和监管要求,试图将人工智能的开发限制在少数人手中,但这些方法遭到了普遍的抵制,因为人们不想看到任何人垄断如此强大的东西。即使这种自上而下的监管建议降低了灭绝的风险,它们也有可能增加某种永久锁定于集权极权主义的可能性。矛盾的是,是否可以达成协议禁止极其先进的人工智能研究彻底的 (也许生物医学人工智能除外),结合诸如强制 对那些未被禁止的模型进行开源,以减少利润动机,同时进一步改善准入平等,更多的 受欢迎的?
“让一个全球组织来做人工智能并使其治理真正非常好”路线的反对者首选的主要方法是多神教人工智能:有意识地尝试确保有很多人和公司开发大量人工智能,这样他们中的任何一个都不会变得比另一个更强大。按照理论,这样一来,即使人工智能变得超级智能,我们也可以保持权力平衡。
这种哲学很有趣,但我试图确保以太坊生态系统内的“多神论”的经验确实让我担心这是一种本质上不稳定的平衡。在以太坊中,我们有意尝试确保堆栈许多部分的去中心化:确保没有单一的代码库来控制超过一半的权益证明网络,试图抵消大型权益池的主导地位, 改善地域分散化, 等等。从本质上讲,以太坊实际上是在尝试实现古老的自由主义梦想,即建立一个以市场为基础的社会,利用社会压力而不是政府作为反垄断监管者。在某种程度上,这已经奏效了:Prysm 客户端的主导地位 从70%以上下降到45%以下。但这并不是某种自动的市场过程:它是人类意图和协调行动的结果。
我在以太坊的经历反映了从整个更广阔的世界中学到的经验,其中许多市场已被证明是自然垄断。由于超级智能人工智能独立于人类而行动,情况更加不稳定。谢谢递归自我完善,最强的AI可能会很快领先,而一旦AI比人类更强大,就没有任何力量可以推动事物恢复平衡。
另外,即使我们做 得到一个最终稳定的超级智能人工智能的多神世界,我们仍然有其他 问题:我们的宇宙中人类都是宠物。
我最近听说的另一个选择是较少关注人工智能与人类分离的事物,而更多关注可提高 人类的认知而不是替换 它。
人工智能绘图工具就是朝这个方向发展的一个近期例子。如今,用于制作人工智能生成图像的最著名的工具只有一步,人类提供输入,然后人工智能完全接管。另一种选择是更多地关注 Photoshop 的 AI 版本:艺术家或 AI 可以使用这些工具制作图片的早期草稿,然后两者通过实时反馈过程合作改进它。
Photoshop 生成 AI 填充,2023 年。来源。我尝试过,需要时间来适应,但实际上效果很好!
本着类似精神的另一个方向是开放机构架构,它建议将人工智能“思维”的不同部分(例如制定计划、执行计划、解释来自外部世界的信息)分成单独的组件,并在这些部分之间引入不同的人类反馈。
到目前为止,这听起来很平常,而且几乎每个人都同意拥有它会很好。经济学家达龙·阿西莫格鲁 (Daron Acemoglu) 的著作远非这种人工智能未来主义,但他的新书力量与进步 暗示希望看到更多此类人工智能。
但如果我们想进一步推断人类与人工智能合作的想法,我们会得到更激进的结论。除非我们创建一个足够强大的世界政府来检测和阻止每一小群人用笔记本电脑对单个 GPU 进行黑客攻击,否则最终有人会创建一个超级智能人工智能 - 一个可以思考的人工智能快千倍 比我们能做到的更多——而人类用手使用工具的组合将无法抵御这种情况。因此,我们需要将人机合作的理念进一步深化和深化。
第一个自然步骤是脑机接口。脑机接口可以让人类更直接地获得越来越强大的计算和认知形式,将人与机器之间的双向通信循环从几秒缩短到几毫秒。这也将大大减少让计算机帮助您收集事实、提出建议或执行计划的“脑力劳动”成本。
诚然,这样的路线图的后期阶段会变得很奇怪。除了脑机接口之外,还有多种途径可以通过生物学创新直接改善我们的大脑。最终的进一步步骤,合并两条路径,可能涉及上传我们的思想 直接在电脑上运行。这也将是物理安全的最终目标:保护我们自己免受伤害不再是保护不可避免的湿软人体的挑战性问题,而是一个简单得多的数据备份问题。
这样的指示有时会引起担忧,部分原因是它们是不可逆转的,部分原因是它们可能会给有权势的人带来比我们其他人更多的优势。脑机接口尤其存在危险——毕竟我们正在谈论的是从字面上读和写到人们的头脑中。这些担忧正是为什么我认为在这条道路上发挥主导作用的理想选择是由以安全为中心的开源运动而不是封闭的专有公司和风险投资基金来担任。此外,所有这些问题都更差 与人类密切相关的增强功能相比,独立于人类运行的超级智能人工智能。由于以下原因,“增强型”和“未增强型”之间的鸿沟今天已经存在谁可以和不能使用 ChatGPT 的限制。
如果我们想要一个超级智能的未来和 “人类”,人类不仅仅是宠物,而且实际上在世界上保留着有意义的代理权,那么感觉这样的东西是最自然的选择。对于为什么这可能是一条更安全的人工智能协调路径,也有很好的论据:通过在决策的每个步骤中纳入人类反馈,我们减少了将高层规划责任转移给人工智能本身的动机,从而减少了人工智能本身做了一些与人类价值观完全不相符的事情。
支持这一方向的另一个论点是,它可能更社交上 比简单地喊叫更可口”暂停人工智能“如果没有补充信息提供替代的前进道路。这将需要从当前的心态上进行哲学转变,即接触人类的技术进步是危险的,但与人类无关的进步默认是安全的。但它有一个巨大的抵消好处:它为开发人员提供了一些事情可做。如今,人工智能安全运动向人工智能开发者传达的主要信息似乎是“你应该停下来“。 一罐致力于对齐研究,但今天这缺乏经济激励。与此相比,常见的 e/acc 信息“你本来就是英雄”,这是可以理解的,非常有吸引力。一条 d/acc 的信息,即“你应该建造,并且建造有利可图的东西,但要更有选择性和更有意识地确保你正在建造的东西能够帮助你和人类繁荣发展”,可能会成为赢家。
我热爱科技,因为科技拓展了人类的潜力。一万年前,我们可以制造一些手工工具,改变一小块土地上生长的植物,建造基本房屋。今天,我们可以构建800米高的塔楼,将所有记录的人类知识存储在我们可以握在手中的设备中,在全球范围内即时通信,使我们的寿命加倍,并过上幸福而充实的生活,而不必担心我们最好的朋友经常死于疾病。
我们从底层开始,现在我们在这里。
我相信这些事情是非常好的,并且将人类的影响范围进一步扩大到行星和恒星也是非常好的,因为我相信人性本善。在某些圈子里,对此持怀疑态度是很流行的:人类自愿灭绝运动 认为如果没有人类存在,地球会变得更好,而且更多人希望看到人类数量少得多 在未来的几个世纪里看到这个世界的光明。常见的是争论 那人类是坏的 因为我们欺骗和偷窃,从事殖民主义和战争,虐待和消灭其他物种。对于这种思维方式,我的回答是一个简单的问题:与什么相比?
是的,人类常常是卑鄙的,但我们更多时候表现出善良和怜悯,并为了共同的利益而共同努力。即使在战争期间,我们也经常注意保护平民——当然还不够,但也远远超过我们2000年前就这么做了。下个世纪很可能会带来广泛使用的非动物性肉类,从而消除最大的道德灾难 今天,人类应该为此受到责备。非人类的动物不是这样的。出于道德原则,猫不会采取完全拒绝吃老鼠的生活方式。太阳每年都变得更加明亮,并且大约在十亿年,预计这将使地球变得太热而无法维持生命。太阳还有吗思考 关于它将导致的种族灭绝?
因此,我坚信,在我们在宇宙中已知和看到的所有事物中,我们人类是最亮的星星。我们唯一知道的是,即使不完美,有时也会认真努力地关心“善”,并调整我们的行为以更好地服务于“善”。二十亿年后,如果地球或宇宙的任何部分仍然拥有地球生命的美丽,那将是人类的手段,例如太空旅行和地球工程 那样它就会发生。
我们需要建设并加速。但有一个非常现实的问题需要问:我们正在加速实现的目标是什么? 21世纪很可能是这 关键世纪 对于人类来说,这个世纪将决定我们未来几千年的命运。我们是否陷入了无法逃脱的众多陷阱中的一个,或者我们是否找到了通往保留自由和能动性的未来的道路?这些都是具有挑战性的问题。但我期待着观看并参与我们人类寻找答案的伟大集体努力。
特别感谢 Morgan Beller、Juan Benet、Eli Dourado、Karl Floersch、Sriram Krishnan、Nate Soares、Jaan Tallinn、Vincent Weisser、Balvi 志愿者和其他人的反馈和审查。
上个月,马克·安德森 (Marc Andreessen) 发表了他的“技术乐观主义者宣言“,主张重新燃起对技术、市场和资本主义的热情,将其作为构建技术并推动人类走向更加光明的未来的手段。宣言明确拒绝了它所描述的停滞意识形态,这种意识形态害怕进步并优先考虑保护当今世界。这份宣言受到了很多关注,包括来自以下组织的回应文章诺亚·史密斯,罗宾汉森,约书亚·甘斯 (更积极),以及戴夫·卡普夫,卢卡·罗佩克,埃兹拉·克莱因 (更消极)和许多其他。詹姆斯·佩索库基斯 (James Pethokoukis) 的“与本宣言无关,但主题相似”保守的未来主义者“和钯金的”是时候为美好而建设了”。这个月,我们看到了类似的争论颁布 通过OpenAI之争,其中涉及许多围绕超级智能 AI 的危险以及 OpenAI 发展太快的可能性的讨论。
我自己对技术乐观主义的感受是温暖的,但又微妙。我相信,由于彻底变革的技术,未来将比现在更加光明,并且我相信人类和人性。我拒绝这样的心态,即我们应该尽力做的最好的事情就是让世界与今天大致相同,但减少贪婪和更多的公共医疗保健。然而,我认为不仅大小很重要,方向也很重要。某些类型的技术比其他类型的技术更可靠地让世界变得更好。如果开发某些类型的技术,可以减轻其他 技术类型。世界对某些技术发展方向的指数过高,而对另一些方向的指数偏低。我们需要人类主动的意图来选择我们想要的方向,因为“利润最大化”的公式不会自动到达它们。
在这篇文章中,我将讨论技术乐观主义意味着什么我。这包括更广泛的世界观,它激励我在某些类型的区块链和密码学应用程序和社会技术以及我表示感兴趣的其他科学领域开展工作。但对这个更广泛问题的看法也对人工智能和许多其他领域产生影响。我们技术的快速进步可能会成为二十一世纪最重要的社会问题,因此仔细思考它们很重要。
在某些圈子里,人们普遍低估技术的好处,并将其主要视为反乌托邦和风险的根源。在过去的半个世纪中,这往往源于对环境的担忧,或者源于对利益只会惠及富人的担忧,而富人将巩固对穷人的权力。最近,我也开始看到自由主义者 对某些技术感到担忧,因为担心这些技术会导致权力集中。这个月,我做到了一些民意调查 提出以下问题:如果一项技术必须 被限制,因为太危险了,不能让任何人使用,他们会希望它被垄断还是推迟十年?我惊讶地发现,在三个平台和三种垄断者选择中,一致压倒性地投票支持推迟。
因此,有时我担心我们矫枉过正,许多人错过了论点的反面:这技术的好处 是真的非常巨大,在我们可以衡量的轴上,好处远远超过坏处,即使延迟十年的成本也非常高。
举一个具体的例子,我们来看一张预期寿命图表:
我们看到了什么?上个世纪,取得了真正的巨大进步。全世界都是如此,无论是历史上富裕和占主导地位的地区,还是贫穷和被剥削的地区。
一些人指责技术制造或加剧了极权主义和战争等灾难。事实上,我们可以在图表上看到战争造成的死亡人数:一个是在 1910 年代(第一次世界大战),一个是在 1940 年代(第二次世界大战)。如果你仔细观察,西班牙流感、大跃进等非军事悲剧也可见一斑。但该图表清楚地表明了一件事:即使是如此可怕的灾难也会被不断进步的巨大程度所压倒。食物,卫生,药品 以及那个世纪发生的基础设施。
我们日常生活的巨大改善也反映了这一点。感谢互联网,世界上大多数人 触手可及的信息,这在二十年前是无法获得的。由于国际支付和金融的改善,全球经济变得更加便利。全球贫困是迅速下降。有了在线地图,我们不再需要担心在城市里迷路,如果您需要快速回家,我们现在可以更方便地叫车。我们的财产变得数字化,我们的实物商品变得便宜,意味着我们对物理盗窃的恐惧要少得多。在线购物缩小了全球大城市与世界其他地区之间获取商品的差距。自动化以各种方式为我们带来了永远被低估的好处,即简单地制造我们的生活更加方便。
这些改进,无论是可量化的还是不可量化的,大的。在二十一世纪,很可能很快就会出现更大的改进。如今,终结衰老和疾病似乎是乌托邦。但从角度来看1945 年存在的计算机在现代,将芯片植入到几乎所有东西中似乎是乌托邦:即使是科幻电影也经常将计算机房间大小保留下来。如果生物技术在未来 75 年中的进步与计算机在过去 75 年中的进步一样多,那么未来可能会比几乎任何人的预期更加令人印象深刻。
与此同时,对进步表示怀疑的论点往往走向黑暗。甚至医学教科书,比如 20 世纪 90 年代的这本(信用艾玛·斯泽夫扎克 为了找到它),有时会提出极端的主张,否认两个世纪医学科学的价值,甚至认为拯救人类生命显然没有好处:
这“增长的极限” 论文是 20 世纪 70 年代提出的一个想法,认为不断增长的人口和工业最终会耗尽地球有限的资源,最终激发了人们的灵感中国的独生子女政策 和印度大规模强制绝育。在早期时代,对人口过剩的担忧被用来证明合法 大量的谋杀。这些想法,争论自1798年以来, 有着悠久的历史被证明是错误的。
正是由于这些原因,作为一个起点,我发现自己对减缓技术或人类进步的论点感到非常不安。考虑到所有部门之间的相互关联程度,甚至部门的 经济放缓是有风险的。因此,当我写下类似我将在这篇文章后面所说的内容时,背离对无论其形式如何的进步的公开热情,这些都是我怀着沉重的心情发表的声明 - 然而,21 世纪足够不同和独特,这些细微差别值得考虑。
也就是说,在更广阔的前景中需要注意一个重要的细微差别,特别是当我们超越“技术作为一个整体是好的”而进入“哪些特定技术是好的?”这一主题时。在这里,我们需要谈谈许多人主要关心的问题:环境。
A主要例外 过去一百年来几乎一切都在变得更好的趋势是气候变化:
即使气温持续上升的悲观情景也不会导致人类真正的灭绝。但这种情况可能会比大规模战争造成更多的死亡,并严重损害那些已经陷入困境的地区的人们的健康和生计。瑞士再保险研究所的一项研究 研究表明,最坏的气候变化情景可能会使世界上最贫穷国家的 GDP 降低多达 25%。这项研究 表明印度农村地区的寿命可能比正常情况下短十年,并且像这样的研究这个 和这个 研究表明,到本世纪末,气候变化可能导致一亿人额外死亡。
这些问题都是大问题。对于为什么我对我们克服这些挑战的能力持乐观态度,我的回答是双重的。首先,经过几十年的炒作和一厢情愿的想法,太阳能 是最后 转动一个角落, 和电池等支持技术 正在取得类似的进展。其次,我们可以看看人类在解决以前的环境问题方面的记录。以空气污染为例。来认识一下过去的反乌托邦:1952 年的伦敦大烟雾。
从那以后发生了什么?让我们再问一下我们的数据世界:
事实证明,1952 年甚至还不是高峰:在 19 世纪末,更高浓度的空气污染物也只是接受并正常。从那时起,我们经历了一个世纪的持续快速下降。我在访问中国时亲身经历了这个结局:2014年,空气中雾霾严重,预计预期寿命将减少五年以上,都是正常的,但到了 2020 年,空气似乎和许多西方城市一样干净。这不是我们唯一的成功故事。在世界许多地方,森林面积正在增加。酸雨危机正在改善。这臭氧层已经恢复 几十年来。
对我来说,这个故事的寓意就是这样。很多时候,情况确实如此我们文明技术的 N 版本引起了问题,N+1 版本修复了它。然而,这不会自动发生,需要人为努力。臭氧层正在恢复,因为通过《蒙特利尔议定书》等国际协议,我们使其恢复。空气污染正在改善,因为我们改善了它。同样,太阳能电池板并没有得到很大的改善,因为它是能源技术树中预定的一部分。太阳能电池板已经变得越来越好,因为几十年来人们意识到解决气候变化的重要性,这促使工程师致力于解决这个问题,也促使公司和政府资助他们的研究。这是有意识的行动,通过公共话语和文化进行协调,塑造政府、科学家、慈善家和企业的观点,而不是无情的“技术资本机器”,已经解决了这些问题。
我看到的许多关于人工智能的轻蔑态度都来自这样的观点:它“只是另一种技术”:与社交媒体、加密、避孕、电话、飞机、枪支、印刷属于同一类事物。按下和滚轮。这些事情显然具有非常重要的社会影响。它们不仅仅是对个人福祉的孤立改善:它们从根本上改变了文化,改变了权力平衡,并伤害了严重依赖先前秩序的人们。许多反对他们。总的来说,悲观主义者的结果总是错误的。
但有一种不同的方式来思考人工智能是什么:它是一个新思维 它们的智力正在迅速提高,并且很有可能超越人类的智力,成为地球上新的顶尖物种。中的事物类别那 类别要小得多:我们可能会合理地包括人类超越猴子、多细胞生命超越单细胞生命、生命本身的起源,也许还有工业革命,机器在这场革命中击败了人类身体的 力量。突然间,感觉我们正走在人迹罕至的地方。
人工智能出错可能使世界变得更糟的一种方式是(几乎)最糟糕的可能方式:它可以字面上导致人类灭绝。这是一个极端的说法:尽管气候变化、人为流行病或核战争等最坏情况可能造成多大的伤害,但仍有许多文明岛屿完好无损,可以收拾残局。但超级智能人工智能如果决定与我们为敌,很可能没有幸存者,并永远终结人类。甚至火星 可能不安全。
令人担忧的一个重要原因是工具趋同:对于超级智能实体可能拥有的非常广泛的目标,人工智能可以采取两个非常自然的中间步骤来更好地实现这些目标:(i)消耗资源,以及(ii)确保其安全。地球蕴藏着丰富的资源,人类是一个可预测的威胁 为了这样一个实体的安全。我们可以 试图给人工智能一个明确的爱和保护人类的目标,但我们有不知道 如何实际上 做那 人工智能一旦出现就不会完全崩溃遇到意外情况。因此,我们遇到了问题。
MIRI 研究员 Rob Bensinger 的尝试 说明不同的人对人工智能杀死所有人或做出几乎同样糟糕的事情的可能性的估计。许多立场都是基于人们的公开声明的粗略估计,但许多其他立场也公开给出了他们的精确估计;不少人的“厄运概率”超过25%。
A机器学习研究人员调查 从 2022 年开始,研究人员认为平均而言,人工智能有 5-10% 的几率杀死我们所有人:与统计上预期的概率大致相同您将死于非生物原因,例如受伤。
这都是一个推测性假设,我们都应该警惕涉及复杂的多步骤故事的推测性假设。然而,这些论点已经经受了十多年的审查,因此,似乎至少值得担心一点。但即使你不担心真正的灭绝,也有其他原因让你感到害怕。
许多现代科幻小说都是反乌托邦的,对人工智能的描述很糟糕。即使是非科幻小说尝试识别可能的人工智能未来也常常会给出结果相当没有吸引力的答案。所以我四处询问这个问题:对于包含超级人工智能的未来的描述是什么,无论是科幻小说还是其他形式,我们将想 居住。迄今为止最常出现的答案是 Iain Banks 的文化系列。
《文化》系列讲述了一个遥远未来的星际文明,主要由两种角色占据:普通人类和被称为“心灵”的超级智能人工智能。人类得到了增强,但只是轻微的增强:医疗技术理论上允许人类无限期地生存,但大多数人选择只活 400 年左右,似乎是因为他们对那时的生活感到厌倦。
从表面上看,人类的生活似乎是美好的:舒适,健康问题得到照顾,娱乐选择多种多样,人与心灵之间存在着积极的协同关系。然而,当我们深入思考时,就会发现一个问题:似乎心灵完全掌控一切,而人类在故事中的唯一角色就是充当心灵的棋子,代表他们执行任务。
引用自加文·里奇的《反对文化》:
人类并不是主角。即使书中似乎有一个人类主角,做着严肃的大事,但他们实际上是人工智能的代理人。 (扎卡维是唯一的例外之一,因为他可以做思想不想做的不道德的事情。)“文化中的思想不需要人类,但人类又需要被需要。” (我认为只有一小部分人需要——或者说,只有一小部分人需要它足以放弃许多舒适。大多数人的生活规模并不大。这仍然是一个很好的批评。)
人类所承担的项目存在不真实的风险。几乎他们所做的任何事情,机器都可以做得更好。你能做什么?如果你从正在攀爬的悬崖上掉下来,你可以命令头脑不要抓住你——只是因为;你可以删除你头脑中的备份,这样你就真的在冒险了。你也可以离开文化并重新加入一些老式的、不自由的“强烈评价”的文明。另一种选择是通过加入“接触”来传播自由。
我认为,即使是文化系列中赋予人类“有意义”的角色也是一种延伸。我问 ChatGPT(还有谁?)为什么人类被赋予了他们被赋予的角色,而不是头脑完全自己做所有的事情,我个人发现它的答案 相当平庸。似乎很难拥有一个由人工智能主导的“友好”的超级智能世界,其中人类除了宠物之外什么都不是。
我不想看到的世界。
许多其他科幻系列都假设了一个存在超级人工智能的世界,但是接受命令 来自(未增强的)生物人类大师。 《星际迷航》就是一个很好的例子,展示了星际飞船与它们的和谐相处的愿景人工智能“计算机” (和数据)及其人类操作员和机组人员。然而,这感觉像是一种极其不稳定的平衡。 《星际迷航》的世界目前看来是田园诗般的,但很难想象它对人类与人工智能关系的愿景只是星际飞船十年前的一个过渡阶段。完全 计算机控制,无需再受宽大的走廊、人工重力和气候控制的困扰。
向超级智能机器发出命令的人类远不如机器聪明,而且它能获取的信息也更少。在一个存在任何程度竞争的宇宙中,人类处于次要地位的文明将胜过那些人类顽固地坚持控制的文明。此外,计算机本身 可能会夺取控制权。要了解原因,请想象您在法律上是一个八岁孩子的真正奴隶。如果你能和孩子长时间交谈,你认为你能说服孩子在一张纸上签字,让你获得自由吗?我没有进行过这个实验,但我本能的回答是肯定的。总而言之,人类成为宠物似乎是一个很难逃脱的吸引力。
中国有句俗话“天高皇帝远”,概括了政治集权局限性的一个基本事实。即使在名义上庞大而专制的帝国中 - 事实上,尤其 如果专制帝国规模很大,领导层的影响力和关注度就会受到实际限制,领导层需要将权力委托给当地代理人来执行其意志,这会削弱其执行意图的能力,因此总有一些地方存在一定程度的实际影响自由统治。有时,这可能会带来负面影响:缺乏执行统一原则和法律的遥远国家,可能会为当地霸主的盗窃和压迫创造空间。但如果集中权力恶化,注意力和距离的实际限制可能会限制其恶化程度。
有了人工智能,就不再是这样了。二十世纪,现代交通技术使得距离的限制对中央集权的约束比以前弱得多。 20 世纪 40 年代伟大的极权主义帝国在一定程度上是其结果。在二十一世纪,可扩展的信息收集和自动化可能意味着注意力也将不再是一种限制。政府自然限制消失的后果完全 可能会很可怕。
数字威权主义已经十年来呈上升趋势,监控技术已经为专制政府提供了镇压反对派的强大新策略:让抗议活动发生,然后发现并发现悄悄地去追 参与者们事后。更一般地说,我基本担心的是,让 OpenAI 能够为超过一亿客户提供服务的同类管理技术500名员工 还将允许500人的政治精英,甚至5人的董事会,对整个国家保持铁腕统治。有了现代监控来收集信息,现代人工智能来解释信息,可能就无处藏身了。
当我们考虑人工智能在战争中的后果时,情况会变得更糟。引用一个半著名帖子 关于人工智能和加密货币的哲学0x阿尔法:
在不需要政治思想工作和战争动员的情况下,战争最高统帅只需把局势本身当作一盘棋来考虑,完全不顾棋盘上棋子、骑士、车的思想和情绪。棋盘。战争变成了纯粹的技术游戏。
此外,政治思想工作和战争动员需要任何人发动战争的理由。不要低估这种“正当理由”的重要性。几千年来,它一直是人类社会战争的合法性制约。任何人想要发动战争都必须有一个理由,或者至少有一个表面上合理的借口。您可能会说这个约束太弱了,因为在许多情况下,这只不过是一个借口。例如,有些(如果不是全部)十字军东征确实是为了占领土地、掠夺财富,但它们必须以上帝的名义进行,即使被掠夺的城市是上帝的君士坦丁堡。然而,即使是弱约束仍然是约束!仅仅这个小小的借口要求实际上就阻止了战争制造者完全不择手段地实现他们的目标。即使像希特勒这样的邪恶势力也不可能立即发动战争,他必须先花费数年时间试图说服德国民族为高贵的雅利安人种争取生存空间。
如今,“循环中的人”成为对独裁者发动战争或在内部压迫其公民的权力的重要制衡。循环中的人类有阻止 核战争,允许打开柏林墙,并在期间拯救了生命暴行 喜欢这 大屠杀。如果军队是机器人,那么这项检查就完全消失了。独裁者可能会在晚上 10 点喝醉,在晚上 11 点对人们在推特上对他们刻薄而感到愤怒,而机器人入侵舰队可能会在午夜之前越过边境,向邻国的平民和基础设施倾泻地狱之火。
与以前的时代不同的是,那里总是有一些遥远的角落,那里天高皇帝远,政权的反对者可以在那里重新集结和隐藏,并最终找到一种方法让事情变得更好,而21世纪的人工智能是极权主义的政权很可能对世界保持足够的监视和控制,以永远“锁定”。
在过去的几个月里,“e/acc”(“有效加速主义者”)运动获得了很大的支持。由“Beff Jezos”总结如下,e/acc 从根本上讲是对技术进步真正巨大好处的认识,以及渴望加速 这种趋势能够更快地带来这些好处。
我发现自己在很多情况下都赞同 e/acc 的观点。有很多证据表明FDA 太保守了 就其愿意推迟或阻止药物批准而言,总体而言,生物伦理学似乎常常遵循这样的原则:“20 人在医学实验出错中死亡是一场悲剧,但 20 万人因挽救生命的治疗而死亡”延迟是一个统计数据”。审批延迟新冠病毒检测和疫苗, 和疟疾疫苗,似乎进一步证实了这一点。然而,这种观点可能走得太远了。
除了我对人工智能相关的担忧之外,我对e/acc 热情 为了军事技术。在 2023 年的当前背景下,美国正在制造这项技术并立即应用于保卫乌克兰,很容易看出它如何成为一股正义的力量。然而,从更广泛的角度来看,对现代军事技术作为正义力量的热情似乎需要相信占主导地位的技术力量将可靠地成为大多数冲突中现在和未来的好人之一:军事技术很好,因为军事技术是由美国建造和控制的,而且美国很好。成为一名 e/acc 是否需要成为一名美国最高主义者,将一切都押在政府现在和未来的道德以及国家未来的成功上?
另一方面,我认为需要新的方法来思考如何降低这些风险。这OpenAI 治理结构 就是一个很好的例子:这似乎是一种善意的努力,旨在平衡盈利的需要,以满足提供初始资本的投资者的愿望,并希望进行制衡,以阻止可能导致 OpenAI 崩溃的举动。世界。然而在实践中,他们最近试图解雇萨姆·奥尔特曼 使得这个结构看起来像是一个彻底的失败:它将权力集中在一个由五人组成的不民主且不负责任的董事会中,他们根据秘密信息做出关键决策,并拒绝透露其推理的任何细节直到员工威胁要辞职 全体。不知何故,非营利组织的董事会表现得很糟糕,以至于公司的员工已创建 一个临时的事实上的联盟…与亿万富翁首席执行官站在一起反对他们。
总的来说,我看到太多拯救世界的计划,其中包括赋予一小群人极端和不透明的权力,并希望他们明智地使用它。因此,我发现自己被一种不同的哲学所吸引,这种哲学对于如何应对风险有详细的想法,但它寻求创建和维护一个更加民主的世界,并试图避免将集权作为解决我们问题的首选。这一理念也比人工智能更广泛,我认为即使在人工智能风险担忧基本上没有根据的世界中,它也适用。。我将把这种哲学称为d/acc。
dacc3
这里的“d”可以代表很多东西;特别,防御,权力下放,民主 和微分。首先,考虑一下防守,然后我们可以看看这与其他解释有何联系。
思考技术的宏观后果的一个框架是着眼于防守与进攻的平衡。从广义上讲,某些技术使攻击他人变得更容易:做违背他们利益的事情,他们觉得有必要做出反应。其他人则使防御变得更容易,甚至在不依赖大型中心化参与者的情况下进行防御。
出于多种原因,有利于防御的世界是一个更好的世界。首先当然是安全的直接好处:更少的人死亡,更少的经济价值被破坏,更少的时间浪费在冲突上。但人们较少意识到的是,一个有利于国防的世界使得更健康、更开放和更尊重自由的治理形式更容易蓬勃发展。
一个明显的例子是瑞士。瑞士通常被认为是现实世界中最接近古典自由主义治理乌托邦的国家。大量权力下放给各省(称为“州”),重大决策是由全民投票决定以及很多当地人连总统是谁都不知道。这样的国家如何生存极具挑战性 政治的压力?的一部分回答 是出色的政治策略,但另一个主要部分是非常有利于防御的地理位置) 以其山区地形的形式。
国旗是一个很大的优点。但山也是如此。
詹姆斯·C·斯科特的新书中对佐米亚的无政府主义社会进行了著名的描述《不被统治的艺术》,是另一个例子:他们也能保持自由和独立,这在很大程度上要归功于山区地形。与此同时,欧亚草原与治理乌托邦完全相反。莎拉潘恩的阐述海上强国与大陆强国 提出了类似的观点,但重点是水作为防御屏障而不是山脉。事实上,自愿贸易的便利性和非自愿入侵的难度的结合,对于瑞士和岛国来说都是共同的,这似乎是人类繁荣的理想选择。
在为以太坊生态系统内的二次融资实验提供建议时,我发现了一个相关的现象:特别是Gitcoin 赠款融资轮次。在第四轮,当一些收入最高的接收者是 Twitter 影响者时,发生了一起小型丑闻,他们的贡献被一些人视为积极的,而另一些人则视为消极的。我自己对这种现象的解释是存在不平衡:二次方融资 允许您发出信号表明您认为某物是公益,但它无法表明某物是公共不良。在极端情况下,完全中立的二次融资系统将为战争双方提供资金。所以对于第五轮,我建议 Gitcoin 应该包括负贡献:您支付 1 美元减少 给定项目收到的金额(并隐式地将其重新分配给所有其他项目)。结果:地段 的人们 讨厌的它。
第五轮之后流传的众多网络梗之一。
在我看来,这似乎是一个更大模式的缩影:建立去中心化的治理机制来处理消极的 外部性在社会上是一个非常棘手的问题。去中心化治理出错的首选例子是暴民正义,这是有原因的。有关于人类心理学的一些东西 这使得对消极因素的反应比对积极因素的反应更加棘手,而且更有可能出错。这就是为什么即使在高度民主的组织中,如何应对负面影响的决定也往往由中央委员会决定。
在许多情况下,这个难题是“自由”概念如此有价值的深层原因之一。如果有人说了一些冒犯你的话,或者有一种你认为令人厌恶的生活方式,你感受到的痛苦和厌恶是真实的,你甚至可能会发现挨打比接触这些事情更糟糕。但是,试图就哪些类型的冒犯和厌恶行为在社会上可以采取行动达成一致,可能比简单地提醒自己某些怪人和混蛋是我们生活在自由社会所付出的代价要付出更大的代价和危险。
然而,在其他时候,“微笑并忍受”的做法是不现实的。在这种情况下,有时值得关注的另一个答案是防御技术。互联网越安全,我们就越不需要侵犯人们的隐私并使用不正当的国际外交策略来追捕每个黑客。我们可以建造的越多用于在 Twitter 上屏蔽用户的个性化工具,用于检测诈骗的浏览器内工具 和区分错误信息的集体工具 和真相,我们为审查制度而斗争的次数就越少。我们制造疫苗的速度越快,我们就越不需要追捕超级传播者。这样的解决方案并不适用于所有领域 - 我们当然不希望每个人都必须穿着真正的防弹衣 - 但在我们需要的领域能 开发技术使世界更加有利于国防,这样做具有巨大的价值。
这一核心思想,即某些技术有利于防御,值得推广,而其他技术有利于进攻,应该予以阻止,它植根于有效的利他主义文献中,但名称不同:差异化技术开发。有一个好的牛津大学研究人员对这一原理的阐述 从 2022 年起:
图 1:差异化技术开发减少负面社会影响的机制。
将技术分类为进攻性、防御性或中性时不可避免地会存在缺陷。就像“自由”一样,人们可以争论社会民主党政府的政策是通过征收重税和胁迫雇主来减少自由,还是通过减少普通人对多种风险的担忧来增加自由,“防御”也有一些技术这可能属于光谱的两边。核武器有利于进攻,但核武器力量 是有利于人类繁荣 以及攻防中立。不同的技术在不同的时间范围内可能发挥不同的作用。但就像“自由”(或“平等”或“法治”)一样,边缘的模糊性与其说是反对该原则的论据,不如说是一个更好地理解其细微差别的机会。
现在,让我们看看如何将这一原则应用到更全面的世界观中。我们可以想到防御技术,比如其他技术,被分成两个领域:原子世界 和比特的世界。原子世界又可以分为微 (即生物学,后来的纳米技术)和宏 (即我们通常认为的“防御”,也是有弹性的物理基础设施)。我将在不同的轴上分割比特的世界:原则上就攻击者是谁达成一致有多难?。有时很容易;有时却很容易。我称之为网络防御。其他时候则比较困难;我称之为信息防御。
宏观领域最被低估的防御技术甚至不是铁穹顶 (包括乌克兰的新制度)和其他反科技和反导弹军事硬件,而是有弹性的物理基础设施。核战争造成的大部分死亡可能来自供应链中断,而不是最初的辐射和爆炸,像星链这样的低基础设施互联网解决方案在维护乌克兰的互联互通 在过去的一年半里。
构建工具来帮助人们独立或半独立地独立或半独立地生存,甚至过上舒适的生活,这似乎是一项有价值的防御技术,而且被证明对进攻有用的风险很低。
追求使人类成为多行星文明 也可以从 d/acc 的角度来看:让我们中至少有一些人在其他星球上自给自足地生活可以增强我们抵御地球上发生的可怕事情的能力。即使全面的愿景暂时被证明不可行,自给自足的生活形式 使这样一个项目成为可能所需要的开发也很可能有助于提高我们地球上的文明复原力。
尤其是由于其长期健康影响, Covid 仍然是忧虑。但新冠疫情还远不是我们将面临的最后一场流行病。现代世界的许多方面都可能导致更多的流行病即将到来:
这是一个区域加密救援 和奖项,由于一次重大意外事件,两个组织成立并获得资助柴犬硬币的意外收获 2021年,一直非常活跃。 CryptoRelief 最初专注于应对眼前的危机,最近一直在印度建立一个长期的医学研究生态系统,而 Balvi 一直专注于登月项目,以提高我们检测、预防和治疗新冠病毒和其他空气传播疾病的能力。 ++Balvi 坚持认为其资助的项目必须是开源的++。从中汲取灵感19世纪战胜霍乱的水利工程运动 和其他水传播病原体,它资助了一系列技术项目,这些技术可以使世界在默认情况下更加抵御空气传播病原体(参见:更新1 和更新2), 包括:
其他有前景的感兴趣领域包括废水病原体监测,改善建筑物的过滤和通风,并更好地理解和缓解空气质量不佳带来的风险。
有机会建立一个世界 默认情况下,它对自然和人为的空气传播流行病的抵抗力要强得多。这个世界将拥有一个高度优化的管道,我们可以从大流行开始,到被自动检测到,再到世界各地的人们能够获得有针对性的、本地可生产且可验证的开源疫苗 或者其他预防措施,通过管理雾化 或者鼻喷雾剂 (意思是:如果需要,可以自行给药,不需要针头),所有这些都在一个月内完成。与此同时,更好的空气质量将大大降低传播速度,并阻止许多流行病的蔓延。
想象一个不必诉诸社会强制大锤的未来——没有强制措施,甚至更糟,也没有被强制执行的风险。设计和执行不当的任务可能会让事情变得更糟 - 因为公共卫生基础设施已融入文明的结构中。这些世界是可能的,只要向生物防御提供中等数量的资金就可以实现这一目标。如果开发是开源的、免费向用户开放并作为公共产品受到保护,那么这项工作将会进行得更加顺利。
安全专业人士普遍认为,当前的计算机安全状况非常糟糕。也就是说,我们很容易低估所取得的进展。任何能够侵入用户钱包的人都可以匿名窃取数千亿美元的加密货币,同时更多的人丢失或被盗 出乎我的意料,事实上,十多年来,其中大部分都没有被盗。最近,有了一些改进:
但是,那缺少 其他领域的网络防御也导致了重大挫折。防范垃圾邮件的需要导致电子邮件成为实践中非常寡头垄断,使得自行托管或创建新的电子邮件提供商变得非常困难。许多在线应用程序,包括推特,要求用户登录才能访问内容,并阻止来自 VPN 的 IP,从而使以保护隐私的方式访问互联网变得更加困难。软件集中化也存在风险,因为“武器化的相互依存”:现代技术倾向于穿过集中的阻塞点,而这些阻塞点的运营者利用这种权力来收集信息、操纵结果或排除特定参与者——这一策略似乎目前正在采用反对区块链行业本身。
这些都是令人担忧的趋势,因为它威胁到了我历来最大的希望之一,即为什么自由和隐私的未来尽管存在深刻的权衡,但可能仍然是光明的。在他的书中《不完美的未来》大卫·弗里德曼预测,我们可能会得到一个妥协的未来:现实世界将受到越来越多的监视,但通过密码学,网络世界将保留甚至改善其隐私。不幸的是,正如我们所看到的,这种反趋势远不能保证。
这就是我自己强调区块链等密码技术的地方零知识证明 进来。区块链让我们能够通过“共享硬盘”创建经济和社会结构,而不必依赖集中的参与者。加密货币允许个人省钱并进行金融交易,就像在互联网出现之前用现金一样,而不依赖于可以随意改变其规则的可信第三方。它们还可以作为后备反女巫机制,使攻击和垃圾邮件变得昂贵 即使对于没有或不想透露其肉体空间身份的用户也是如此。帐户抽象,特别是社会恢复钱包,可以保护我们的加密资产以及未来潜在的其他资产,而无需过度依赖中心化中介机构。
可以使用零知识证明为了隐私,允许用户在不泄露私人信息的情况下证明自己的事情。例如,包裹一个数字护照签名 在 ZK-SNARK 中证明您是特定国家的独特公民,不透露您是哪位公民。像这样的技术可以让我们保持隐私和匿名的好处——这些属性被广泛认为是投票等应用程序所必需的 - 同时仍然获得安全保证并打击垃圾邮件和不良行为者。
ZK 社交媒体系统的拟议设计,可以进行审核操作并且可以对用户进行惩罚,而所有这些都不需要知道任何人的身份。
祖帕斯,孵化于快点 今年早些时候的实践就是一个很好的例子。这是一个应用程序,已被 Zuzalu 的数百人使用,最近又被数千人用于在开发连接,这使您可以持有门票、会员资格,(不可转让)数字收藏品和其他证明,并在不损害您的隐私的情况下证明所有这些内容。例如,您可以证明您是 Zuzalu 的唯一注册居民,或者 Devconnect 票证持有者,不透露任何有关您是谁的信息。这些证明可以通过二维码或数字方式亲自出示,以登录诸如祖波尔,一个仅向 Zuzalu 居民开放的匿名投票系统。
这些技术是 d/acc 原则的一个很好的例子:它们允许用户和社区在不损害隐私的情况下验证可信度,并保护他们的安全,而不依赖于强加他们自己定义谁好谁坏的中心化瓶颈。 它们通过创建比当今使用的常用技术更好、更公平的方法来保护用户或服务的安全,例如歧视整个被认为不值得信任的国家,从而提高全球可访问性。如果我们想要在 21 世纪保持信息安全的去中心化愿景,这些都是非常强大的原语,它们可能是必要的。更广泛地研究网络空间防御技术可以使互联网在未来的非常重要的方面更加开放、安全和自由。
正如我所描述的,网络防御是指理性的人很容易就攻击者是谁达成共识的情况。如果有人试图侵入你的钱包,人们很容易认为黑客是坏人。如果有人试图对网站进行 DoS 攻击,人们很容易认为他们是恶意的,并且在道德上与试图阅读网站内容的普通用户不同。在其他情况下,界限更加模糊。在这些情况下改善我们防御的工具我称之为“信息防御”。
以事实核查(又名,防止“错误信息”)为例。我是一个社区笔记的忠实粉丝,它在帮助用户识别其他用户所发推文的真伪方面做了很多工作。社区笔记使用了一种新的算法,该算法不会显示那些属于社区笔记的笔记最受欢迎,而是注释最受各政治派别的用户认可。
社区注释的实际应用。
我也是预测市场的粉丝,这可以帮助识别事件的重要性实时,在尘埃落定之前,就哪个方向是哪个方向达成共识。这山姆·奥尔特曼 (Sam Altman) 的 Polymarket 对每小时的揭露和谈判的最终后果进行有用的总结非常有帮助,为那些只看到个别新闻而不了解每条新闻的重要性的人提供了急需的背景信息。
预测市场常常存在缺陷。但那些愿意自信地表达他们认为明年“将”发生的事情的 Twitter 影响者往往存在更大的缺陷。预测市场仍有进一步改善的空间。例如,预测市场的一个主要实际缺陷是,除了最引人注目的事件外,所有事件的交易量都很低。尝试解决这个问题的一个自然方向是建立由人工智能发挥作用的预测市场。
在区块链领域,我认为我们需要更多特定类型的信息防御。也就是说,钱包应该更加坚定和积极地帮助用户确定他们正在签名的内容的含义,并保护他们免受欺诈和诈骗。这是一个中间案例:什么是骗局、什么不是骗局,比对有争议的社会事件的看法更主观,但比区分合法用户和 DoS 攻击者或黑客更主观。 Metamask 已经有一个诈骗数据库,并自动阻止用户访问诈骗网站:
应用程序如火 这些是走得更远的一种方法的例子。然而,像这样的安全软件不应该是需要显式安装的东西;默认情况下,它应该是加密钱包甚至浏览器的一部分。
由于其更主观的性质,信息防御本质上比网络防御更具集体性:您需要以某种方式融入一大群复杂的人来识别什么可能是真的或假的,以及什么样的应用程序是欺骗性的庞氏骗局。开发人员有机会在开发有效的信息防御和强化现有形式的信息防御方面走得更远。像社区笔记这样的东西可以包含在浏览器中,不仅涵盖社交媒体平台,还涵盖整个互联网。
在某种程度上,我可以合理地指责我通过将其中一些信息技术描述为与“防御”有关而硬塞。毕竟,防御是为了帮助善意的行为者免受恶意行为者(或者在某些情况下,免受自然)的侵害。然而,其中一些社交技术是关于帮助善意行为者形成共识。
一个很好的例子是波尔,它使用类似于社区笔记(并且早于社区笔记)的算法来帮助社区识别子部落之间的共识点,否则这些子部落在很多方面都存在分歧。观点.xyz 受到 pol.is 的启发,有着相似的精神:
此类技术可用于对有争议的决策进行更加去中心化的治理。同样,区块链社区是一个很好的试验场,并且此类算法已经显示出价值。一般来说,决定哪些改进(“欧洲投资银行”)以太坊协议的制定是由一个相当小的小组在名为“所有核心开发人员电话“。对于大多数社区成员没有强烈感情的高度技术性决策,这种方法相当有效。对于影响协议经济学的更重要的决策,或者影响不变性和审查阻力等更基本的价值观,这通常是不够的。早在 2016 年-17,当围绕实施一系列有争议的决定时DAO fork,减少发行并且(不)解冻 Parity 钱包、Carbonvote 等工具以及社交媒体投票帮助社区和开发者了解大多数社区意见的方向。
DAO 分叉上的碳投票。
碳投票有其缺陷:它依靠 ETH 持有量来确定谁是以太坊社区的成员,从而使结果由少数富有的 ETH 持有者(“鲸鱼”)主导。然而,借助现代工具,我们可以利用多种信号来制作更好的 Carbonvote,例如聚丙烯酰胺, Zupass 邮票,吉特币护照,礼宾协会会员资格,以及 ETH(甚至是单独质押的 ETH)持有量来衡量社区成员资格。
任何社区都可以使用此类工具来做出更高质量的决策、找到共同点、协调(物理或数字)迁移或做许多其他事情,而无需依赖不透明的集中领导。这本身并不是国防加速,但肯定可以称为民主加速。这些工具甚至可以用来改善人工智能领域关键参与者和机构的治理并使之民主化。
上述一切都很好,可以使下个世纪的世界变得更加和谐、安全和自由。然而,它还没有解决房间里的大象:超级智能人工智能。
许多担心人工智能的人建议的默认前进道路本质上会导致最小的人工智能世界政府。该方案的近期版本包括一项提案“跨国AGI联盟” (“魔法”)。这样的联盟如果成立并成功实现创造超级智能人工智能的目标,将自然而然地成为事实上的最小世界政府。从长远来看,有一些想法,例如“关键行动” 理论:我们创建一个人工智能来执行单一的一次性行为 它将世界重新安排成一个游戏,从那时起,人类仍然负责,但游戏棋盘在某种程度上更有利于防御,更适合人类的繁荣。
到目前为止,我看到的主要实际问题是人们似乎并不真正信任任何有能力构建这样的东西的特定治理机制。当你看看我最近的 Twitter 民意调查结果时,这个事实就变得显而易见了,我询问人们是否愿意看到人工智能被领先十年的单一实体垄断,或者人工智能为每个人推迟十年:
每次民意调查的规模都很小,但民意调查通过各种来源和选项得出的结果的一致性弥补了这一点。在九分之九的情况下,大多数人宁愿看到高度先进的人工智能彻底推迟十年,也不愿被单个团体垄断,无论是公司、政府还是跨国机构。在九个案例中的七个中,延迟至少以二比一获胜。对于任何追求人工智能监管的人来说,这似乎是一个需要理解的重要事实。目前的方法一直专注于制定许可计划和监管要求,试图将人工智能的开发限制在少数人手中,但这些方法遭到了普遍的抵制,因为人们不想看到任何人垄断如此强大的东西。即使这种自上而下的监管建议降低了灭绝的风险,它们也有可能增加某种永久锁定于集权极权主义的可能性。矛盾的是,是否可以达成协议禁止极其先进的人工智能研究彻底的 (也许生物医学人工智能除外),结合诸如强制 对那些未被禁止的模型进行开源,以减少利润动机,同时进一步改善准入平等,更多的 受欢迎的?
“让一个全球组织来做人工智能并使其治理真正非常好”路线的反对者首选的主要方法是多神教人工智能:有意识地尝试确保有很多人和公司开发大量人工智能,这样他们中的任何一个都不会变得比另一个更强大。按照理论,这样一来,即使人工智能变得超级智能,我们也可以保持权力平衡。
这种哲学很有趣,但我试图确保以太坊生态系统内的“多神论”的经验确实让我担心这是一种本质上不稳定的平衡。在以太坊中,我们有意尝试确保堆栈许多部分的去中心化:确保没有单一的代码库来控制超过一半的权益证明网络,试图抵消大型权益池的主导地位, 改善地域分散化, 等等。从本质上讲,以太坊实际上是在尝试实现古老的自由主义梦想,即建立一个以市场为基础的社会,利用社会压力而不是政府作为反垄断监管者。在某种程度上,这已经奏效了:Prysm 客户端的主导地位 从70%以上下降到45%以下。但这并不是某种自动的市场过程:它是人类意图和协调行动的结果。
我在以太坊的经历反映了从整个更广阔的世界中学到的经验,其中许多市场已被证明是自然垄断。由于超级智能人工智能独立于人类而行动,情况更加不稳定。谢谢递归自我完善,最强的AI可能会很快领先,而一旦AI比人类更强大,就没有任何力量可以推动事物恢复平衡。
另外,即使我们做 得到一个最终稳定的超级智能人工智能的多神世界,我们仍然有其他 问题:我们的宇宙中人类都是宠物。
我最近听说的另一个选择是较少关注人工智能与人类分离的事物,而更多关注可提高 人类的认知而不是替换 它。
人工智能绘图工具就是朝这个方向发展的一个近期例子。如今,用于制作人工智能生成图像的最著名的工具只有一步,人类提供输入,然后人工智能完全接管。另一种选择是更多地关注 Photoshop 的 AI 版本:艺术家或 AI 可以使用这些工具制作图片的早期草稿,然后两者通过实时反馈过程合作改进它。
Photoshop 生成 AI 填充,2023 年。来源。我尝试过,需要时间来适应,但实际上效果很好!
本着类似精神的另一个方向是开放机构架构,它建议将人工智能“思维”的不同部分(例如制定计划、执行计划、解释来自外部世界的信息)分成单独的组件,并在这些部分之间引入不同的人类反馈。
到目前为止,这听起来很平常,而且几乎每个人都同意拥有它会很好。经济学家达龙·阿西莫格鲁 (Daron Acemoglu) 的著作远非这种人工智能未来主义,但他的新书力量与进步 暗示希望看到更多此类人工智能。
但如果我们想进一步推断人类与人工智能合作的想法,我们会得到更激进的结论。除非我们创建一个足够强大的世界政府来检测和阻止每一小群人用笔记本电脑对单个 GPU 进行黑客攻击,否则最终有人会创建一个超级智能人工智能 - 一个可以思考的人工智能快千倍 比我们能做到的更多——而人类用手使用工具的组合将无法抵御这种情况。因此,我们需要将人机合作的理念进一步深化和深化。
第一个自然步骤是脑机接口。脑机接口可以让人类更直接地获得越来越强大的计算和认知形式,将人与机器之间的双向通信循环从几秒缩短到几毫秒。这也将大大减少让计算机帮助您收集事实、提出建议或执行计划的“脑力劳动”成本。
诚然,这样的路线图的后期阶段会变得很奇怪。除了脑机接口之外,还有多种途径可以通过生物学创新直接改善我们的大脑。最终的进一步步骤,合并两条路径,可能涉及上传我们的思想 直接在电脑上运行。这也将是物理安全的最终目标:保护我们自己免受伤害不再是保护不可避免的湿软人体的挑战性问题,而是一个简单得多的数据备份问题。
这样的指示有时会引起担忧,部分原因是它们是不可逆转的,部分原因是它们可能会给有权势的人带来比我们其他人更多的优势。脑机接口尤其存在危险——毕竟我们正在谈论的是从字面上读和写到人们的头脑中。这些担忧正是为什么我认为在这条道路上发挥主导作用的理想选择是由以安全为中心的开源运动而不是封闭的专有公司和风险投资基金来担任。此外,所有这些问题都更差 与人类密切相关的增强功能相比,独立于人类运行的超级智能人工智能。由于以下原因,“增强型”和“未增强型”之间的鸿沟今天已经存在谁可以和不能使用 ChatGPT 的限制。
如果我们想要一个超级智能的未来和 “人类”,人类不仅仅是宠物,而且实际上在世界上保留着有意义的代理权,那么感觉这样的东西是最自然的选择。对于为什么这可能是一条更安全的人工智能协调路径,也有很好的论据:通过在决策的每个步骤中纳入人类反馈,我们减少了将高层规划责任转移给人工智能本身的动机,从而减少了人工智能本身做了一些与人类价值观完全不相符的事情。
支持这一方向的另一个论点是,它可能更社交上 比简单地喊叫更可口”暂停人工智能“如果没有补充信息提供替代的前进道路。这将需要从当前的心态上进行哲学转变,即接触人类的技术进步是危险的,但与人类无关的进步默认是安全的。但它有一个巨大的抵消好处:它为开发人员提供了一些事情可做。如今,人工智能安全运动向人工智能开发者传达的主要信息似乎是“你应该停下来“。 一罐致力于对齐研究,但今天这缺乏经济激励。与此相比,常见的 e/acc 信息“你本来就是英雄”,这是可以理解的,非常有吸引力。一条 d/acc 的信息,即“你应该建造,并且建造有利可图的东西,但要更有选择性和更有意识地确保你正在建造的东西能够帮助你和人类繁荣发展”,可能会成为赢家。
我热爱科技,因为科技拓展了人类的潜力。一万年前,我们可以制造一些手工工具,改变一小块土地上生长的植物,建造基本房屋。今天,我们可以构建800米高的塔楼,将所有记录的人类知识存储在我们可以握在手中的设备中,在全球范围内即时通信,使我们的寿命加倍,并过上幸福而充实的生活,而不必担心我们最好的朋友经常死于疾病。
我们从底层开始,现在我们在这里。
我相信这些事情是非常好的,并且将人类的影响范围进一步扩大到行星和恒星也是非常好的,因为我相信人性本善。在某些圈子里,对此持怀疑态度是很流行的:人类自愿灭绝运动 认为如果没有人类存在,地球会变得更好,而且更多人希望看到人类数量少得多 在未来的几个世纪里看到这个世界的光明。常见的是争论 那人类是坏的 因为我们欺骗和偷窃,从事殖民主义和战争,虐待和消灭其他物种。对于这种思维方式,我的回答是一个简单的问题:与什么相比?
是的,人类常常是卑鄙的,但我们更多时候表现出善良和怜悯,并为了共同的利益而共同努力。即使在战争期间,我们也经常注意保护平民——当然还不够,但也远远超过我们2000年前就这么做了。下个世纪很可能会带来广泛使用的非动物性肉类,从而消除最大的道德灾难 今天,人类应该为此受到责备。非人类的动物不是这样的。出于道德原则,猫不会采取完全拒绝吃老鼠的生活方式。太阳每年都变得更加明亮,并且大约在十亿年,预计这将使地球变得太热而无法维持生命。太阳还有吗思考 关于它将导致的种族灭绝?
因此,我坚信,在我们在宇宙中已知和看到的所有事物中,我们人类是最亮的星星。我们唯一知道的是,即使不完美,有时也会认真努力地关心“善”,并调整我们的行为以更好地服务于“善”。二十亿年后,如果地球或宇宙的任何部分仍然拥有地球生命的美丽,那将是人类的手段,例如太空旅行和地球工程 那样它就会发生。
我们需要建设并加速。但有一个非常现实的问题需要问:我们正在加速实现的目标是什么? 21世纪很可能是这 关键世纪 对于人类来说,这个世纪将决定我们未来几千年的命运。我们是否陷入了无法逃脱的众多陷阱中的一个,或者我们是否找到了通往保留自由和能动性的未来的道路?这些都是具有挑战性的问题。但我期待着观看并参与我们人类寻找答案的伟大集体努力。