人工智能的伦理挑战

人工智能的伦理挑战

Nick Bostrom

Eliezer Yudkowsky

1， 机器学习和其它专用型AI算法的伦理问题

假设有一家银行启用了机器学习算法审核抵押贷款。一个贷款申请人起诉这家银行因为种族歧视而拒绝批准他的房贷申请。银行则驳斥了这个指控，声称这个算法特意被设计成无法辨别贷款申请人的种族情况。实际上，银行没有撒谎，因为这家银行部署这个系统的根本原因之一就是认为它没有种族歧视倾向。然而，法庭调取了相关统计数据，发现黑人在这家银行的贷款申请通过率一直在下降。法庭向这家银行的贷款审核系统提交10个在资质上几乎完全一样（由一个完全独立的人类专家咨询组裁定）的贷款申请后发现，AI算法的确偏爱白人，拒绝黑人。这到底是怎么回事？

找到这个问题的答案可能容易，也可能不容易。如果这个银行的机器学习算法是基于复杂的神经网络，或者基于自然选择和基因遗传学原理的优化搜索方法，那么很难知道这个算法为什么会以及如何产生种族歧视倾向。但是如果这个算法是基于决策树或者贝叶斯网络，那么它对于程序员来说就是相对透明的。在上面的例子中，计算机专家很快发现这个AI算法将申请人的地址信息与该地址所在地区的经济发展状况相关联来判断申请人的偿付能力。

在现代社会中，AI算法正扮演着越来越重要的角色，尽管很多程序甚至没有被冠以“AI”之名。上面的例子清楚显示了AI系统不仅需要功能强大和具有可扩展性，还必须透明和便于审查。

我们面临的一些机器伦理挑战很像之前设计机器时遇到过的其它非伦理挑战。从道德的角度来说，设计自动机器手臂帮助脆弱的人类手臂免受伤害不会比设计一个不易燃烧的沙发带来更多的焦虑——它涉及新的编程挑战，但不涉及新的伦理挑战。但是当AI算法承担了之前由人类承担的具有社会影响的认知工作时，它也必须同时满足这些工作的相关社会期望。如果没人能解释为什么看似完美的按揭贷款申请会被拒绝，客户会觉得愤愤不平，银行也会因为可能的法律纠纷或者系统的被迫弃用而沮丧。

除了便于审查，接管人类的社会性工作的AI必须能够让人类预测其工作成果。我们可以用一个类比来说明AI可预测的重要性。在法律体系中，遵循先例原则要求法官尽可能地按照之前的案例判案。AI工程师或许会觉得这个原则没有道理：科学技术在不断地向前发展，为什么要用过去来束缚未来？但是法律体系的一个重要特征就是可预测性；这种可预测性让我们知道商业合同的执行结果，从而放心地签署。法律系统首先考虑的不是如何优化社会效率，而是提供一个可预测的环境让生活在其中的居民能够优化自己的生活。

同样越来越重要的是AI算法必须能够对抗恶意操控。一个扫描机场行李传送带检查危险物品的AI系统必须能够强力阻止恐怖分子钻系统漏洞，比如用一个与枪支耦合的模具来欺骗系统。这种对抗恶意操控的能力属于任何信息安全规范的基本要求；AI信息安全规范同样不例外。

一个组织要成功运作，必须有人为每一件事情承担责任。如果AI系统没能完成一项工作任务，谁来承担责任？AI的程序员？AI的最终用户？现代的官僚主义者经常躲在既有的流程背后，导致没有人需要为灾难后果承担责任。专家系统公正冷漠的决策可以为官僚主义者提供更好的避难所。AI的人类可以有权否决AI系统的决策，但是精致利己的官僚主义者明白，一旦错误使用了否决权，他就要为灾难性后果承担责任；显然让AI为错误决策承担责任是更好的选择。

责任、透明、偏于审核、廉洁、可预测、不让无辜受害者因为沮丧和无助而喊叫，这些是所有人类承担的社会性工作需要满足的标准，也是所有试图在这些社会性工作中取代人类判断的AI算法必须满足的标准。这份清单绝对没有罗列所有的标准，但是它作为一个小小的样本告诉我们一个不断计算机化的社会应该如何思考。

2， 通用型AI的伦理问题

AI专家们几乎一致认为，尽管已经在某些领域（比如下棋）击败人类，现在的AI系统在综合能力和一些关键指标上远不如人类。有些人甚至认为，只要AI算法是人类工程师想出来的，这个AI就不能被认为有自己的智能，因为智能的所有权属于人类工程师。深蓝击败卡斯帕罗夫和阿法狗击败李世石改变了人们的一些想法，但即便是深蓝和阿法狗的支持者也同意现在的AI系统中缺少了一些重要的东西。

很多人认为，现在的AI缺失的重要东西是通用性或者综合能力。通用型AI（Artificial General Intelligence, AGI) 这个术语正逐渐被用来描述“真正的”AI。尽管有精心的编程设计和机器学习，现在的AI只在某个特定的领域能与人类匹敌或者胜过人类。深蓝加冕为国际象棋世界冠军，阿法狗打败中韩最强的围棋国手，但是深蓝不会下围棋，阿法狗也不会下国际象棋，更不用说让深蓝或者阿法狗开车或者研究科学问题。这些专用型AI的能力局限和动物相似：蜜蜂能够建造蜂巢，海狸能够建造水坝，但是蜜蜂不会建造水坝，而海狸也学不会建造蜂巢。人类则既能学会建造水坝，又能学会建造蜂巢。但显然，在生物世界中，这是一项人类独有的能力。关于人类的智能是否真的具有通用性还存在争议，因为我们在某些认知任务上表现出色，而在另一些认知任务上则表现不佳。但是，人类智能在通用性方面肯定远远超过其它的非人类种群。

专用型AI可能引发的安全问题相对简单。通用型AI（Artificial General Intelligence, AGI)需要被部署在各种不同的应用场景，需要有能力应对设计者都意想不到的任务，其引发的安全问题非常复杂。

当人类工程师建造核反应堆时，他们预想了在反应堆里会发生的各种特殊事件，比如阀门故障、计算机故障、堆芯温度上升，等等。然后工程师会教会反应堆及时控制这些事件的后果，及时解决问题。再举一个普通一点的例子。制造一个烤面包机时设计师需要考虑面包的特点和面包对加热元件的反应。烤面包机不知道自己的工作目标是烤面包——这个工作目标留存在设计师的大脑里，隐含在烤面包机的代码或者工作章程中，但是代码或者工作章程不会直白地论述这个目标。因此，如果你把一件衣服放进烤面包机，烤面包机依然照常工作——衣服会起火，就像其它被不当使用的机器会产生意想不到的副作用一样。

但是即便是现有的专用型AI也不会像烤面包机那样简单刻板，不会像烤面包机一样可以预先编程设定并预测每一个行为，包括短期行为和长期行为。看看曾经击败李世石的阿尔法狗：它是那种只能唯设计师的命令是从的那种机器吗？如果阿尔法狗只能唯命是从，那就意味着它的设计师事先能够穷举阿尔法狗可能遇到的每一步棋，并见招拆招，将每一步棋的最佳应对放进阿尔法狗的数据库里。阿尔法狗的设计师没有这么做，也无法做到。原因很简单，首先，阿尔法狗可能遇到的所有走棋的数量非常巨大，超出了数据库的处理能力；其次，设计师指导下的阿尔法狗肯定无法击败李世石——阿尔法狗的设计师自己是无法击败李世石的，那么阿尔法狗在他的指挥下又怎么可能击败李世石呢？

为了制造一个比人类更强大的AI棋手，人类设计师付出的代价是无法理解或者预测阿尔法狗的每一步棋，尽管他们确信，阿尔法狗下的这些其都是有理由的，最终能带来胜利。换句话说，人类编程员能够准确预测棋局的长远结果，但是无法预测阿尔法狗的局部走棋，比如如何应对李世石的这次进攻。阿尔法狗计算的是非局部或者长远的棋局变化，即一次落子和它最终的可能后果之间的联系，比人类编程员更加高瞻远瞩。

现代人类做了无数的事情来帮助自己——这些事情的最终目的其实就是喂饱自己，让自己生存。生存，或者活着，是人类从古到今一直面临的挑战，而我们的进化和适应正是为了更好地应对这个挑战。“大自然”或者自然选择能够预测或者理解人类为了应对这个挑战而做的每一件事、每一个改变和每一次适应吗？经历了这么多进化和改变，我们的大脑已经变得如此强大，已经具有了通用能力和普适能力，能够预测成千上万不同行为的结果，并能够让我们的选择产生预期的最终结果。人类跨过太空，在月球上留下了足迹，尽管我们的祖先从未遇到过真空或者类似的场景。与设计专用型AI相比，设计一个能在成千上万不同的场景下安全工作的系统的难度无疑大得多；这些场景包含了系统设计者或者系统使用者做梦都没想过的场景，甚至包括全体人类做梦都没想过的场景。设计这样的通用型系统时，很可能没有标准来定义什么是良好的短期行为或者局部行为，甚至没有关于行为本身的简单标准。大自然只能对人类说，放手去做吧，总之不要让自己饿死；AI设计师的设计思路也与此相似。

为了建造一个跨越许多不同的专业领域、产生许多不同的结果（包括设计者从未想过的结果）的通用型AI，同时确保其安全性，我们必须用这样的术语来规定“好行为”，即，X（好行为）就是X的结果不会伤害人类。这是一个非局部的规范，包含了对行为的长远结果的外推。如果系统能够明确地外推自己的行为的结果，那么这就是一个有效的规定，可以作为系统的一个设计指标。烤面包机不需要这个设计指标，因为烤面包机对自己的行为结果没有意识。

想象一下一个工程师不得不这样说：“好吧，我对建造的这架飞机如何安全飞行的细节一无所知。实际上我对这架飞机如何飞行的细节一无所知——我不知道它是靠拍打翅膀还是用氦气漂浮还是其它我想象不到的方法。但是我向你保证，这架飞机的设计非常、非常安全。”这看上去就像公关部门接到了一个令人头痛的任务，但是对这样一个跨领域、经常与无法预测的结果不知道方案的细节。

对伦理承诺鉴别必须区分可信赖的承诺（在证明AI的确安全之前不会宣称AI是安全的）和基于天真期望或者奇幻思维的承诺（我不知道点金石是如何把铅变成黄金的，但我向你保证，它能点石成金）。

以

因此，AI伦理（特别是通用型AI伦理）的纪律与非认知技术的伦理纪律截然不同，表现为：

1） 即便程序员作对了所有的事情，AI的局部和特定行为仍然是无法预测的，除了它的安全性；

2） 验证系统的安全性成为更大的挑战，因为我们必须验证这个系统正试图做什么，而不是能够验证系统在所有工作场景下的安全行为细节。

3） 伦理认知本身必须被视作工程的主题。

3， 有道德地位的机器

问题是未来一些AI系统获得道德地位的可能性。对拥有道德地位的存在主体的处理并不是单纯的工具理性问题；事实上我们应该基于道德上的理由以某种方式对待他们，并且约束自己不以另外的方式对待他们。Francis Kamm曾经建议这样定义道德地位：

X有道德地位=因为X能在道德层面顾及自身的权利，因此，为了X自己而对X做一些事情是允许的/不允许的。

一块石头没有道德地位：我们可以压碎它，或者做任何我们想做的事情而无需考虑石头自身的感受或者权利。与之相反，对一个人来说，我们不能只把他当作手段，还要当作目的。不同的伦理理论对于如何把一个人当作目的有着不同的看法；但是这种伦理思路显然包括必须考虑一个人的合法利益，包括重视他的福利，也也可能包括在对待他时接受严格的道德约束，比如禁止谋杀他、偷他的财物，或者未经他的同意触碰他或者他的财物。而且，因为人能在道德层面顾及自身的权利，因此为了这个人而对他做这些伤害是不允许的。这些可以更加简明地表述为“人有道德地位”。

道德地位引发的一些问题在实践伦理的某些领域非常重要。比如，关于堕胎的道德可行性的争辩经常取决于胎儿是否具有道德地位。关于在动物试验和食品工业中动物待遇的争议也隐含了动物是否具有道德地位的问题。另外，我们对患有严重痴呆症的人类（比如晚期阿兹海默氏症患者）的照顾义务也与这些人的道德地位有关。

人们普遍认为，现在的AI系统没有道德地位。至少就计算机程序本身来说，我们可以改变、复制、终结、删除，或者随心所欲地使用它们；我们处理这些计算机程序时受到的道德约束主要是基于我们对其他有道德地位的主体，比如工作伙伴的义务，而不是对计算机程序本身有什么义务。

尽管对现在的AI系统缺乏道德地位形成了共识，我们仍步清楚什么基础特性决定是否具有道德地位。很多人推荐用两个标准来判断道德地位（两个指标单独判断或者组合起来判断）：感知，和智慧（人格）。两个标准的定义为：

感知：感受环境体验或者感觉的能力，比如感受痛苦或者愉快的能力；

智慧：一组与高级智能相关的能力，例如自我认识和成为有着理性反应的主体。

一般认为，很多动物有感觉能力，因此有一些道德地位。但是，只有人类有智慧，从而被赋予高于动物的道德地位。当然，这种观点必须面对一些模糊案例的挑战，比如，婴儿和老年痴呆症患者——这些人有时被称为“边缘人”——无法满足“智慧”标准，而有些动物，比如大猩猩，却掌握了一定程度的智能。有些人拒绝承认这些“边缘人”具有完全的道德地位。另一些人建议用其它的标准让这些主体获得道德地位，比如作为一类通常被认为能够感知和拥有智慧的群体的一员，或者与一些确定拥有道德地位的主体有适当关联。对于我们现

上述关于道德地位的讨论表明，如果AI系统具有感知能力，比如能够感觉到痛苦，就应该获得部分道德地位。一个能够感知的AI系统，即便它缺乏语言能力和其他高级认知能力，也会不同于毛绒动物玩具或者上过发条的芭比娃娃；这种AI将更像有生命的动物。让一只老鼠遭受痛苦是不对的，除非有足够的道德上理由支持这么做。同样的原则也适用于有感知能力的AI系统。如果除了感知能力，如果一个AI系统还具有与成年人类类似的智能，那么它将具有充分的道德地位，甚至与人类的道德地位相同。

隐藏在这种道德评价背后的理念可以用一种更强有力的形式进行表达，即所谓的基础原料非歧视原则（Principle of Substrate Non-Discrimination）：

如果两个功能和意识体验都相同的存在主体的区别仅仅是使用了不同的基础原料，那么它们的道德地位相同。

这是一个充满争议的原则。毕竟很多人认为存在主体的基础原料不像皮肤颜色那样自带道德意义，反对这个原则的人却有被视为种族歧视主义者的可能性。基础原料非歧视原则（Principle of Substrate Non-Discrimination）不表示一台计算机一定有意识，也不表示这台计算机具有和人一样的功能。如果基础原料影响了存在主体的功能或者感知能力，它当然会影响存在主体的道德地位。但是如果基础原料不影响功能或者感知能力，那么就不要在意存在主体使用了硅材料还是碳材料，或者它的大脑使了半导体还是神经元。

另一个经常被提起的原则是：AI系统是人造的——即蓄意设计的产品——这个事实在本质上不影响它的道德地位。这个原则可以被概括成“出身非歧视原则（Principle of Ontogeny Non-Discrimination）”：

如果两个功能和意识体验都相同的存在主体的区别仅仅是不同的出现方式，那么它们的道德地位相同。

也就是说，英雄不问出身；一个存在主体的道德地位不受其出现方式的影响。即便某个存在主体的出现是某个蓄意的设计的结果，也不会削弱或者改变它的道德地位。

在当代社会，大家普遍认可这个原则适用于人类——尽管在某些地区，特别是在过去，认为某个人的道德地位取决于其血缘或者种姓的观念仍然有影响力。我们不相信诸如计划生育、助产、试管生育、配子选择、母亲营养的加强等措施——这些措施对下一代的出生进行了蓄意的人工干预——对加强后代的道德地位有什么必然的影响。即便是那些出于道德或者宗教的原因反对人类克隆技术的人也经常承认，如果真有克隆人诞生，他也一定拥有和其他婴儿一样的道德地位。出身非歧视原则（Principle of Ontogeny Non-Discrimination）将这种逻辑扩展到所有的人造认知系统。

当然，自然选择有可能以某种方式通过改变后代的出身而改变他的道德地位。例如，如果在受孕或者妊赈期间的一些事情导致一个胚胎缺失了大脑，那么这个与出身有关的事实将对我们对这个后代的道德地位的评价产生影响。这个无脑畸形婴儿仍然像其他无脑畸形婴儿一样享受部分道德地位，但是他的道德地位可能与正常发育的婴儿不同。决定无脑畸形婴儿和正常婴儿道德地位差异的原因在于两者的质的差异——前者没有大脑；后者有大脑。但是，由于两类婴儿不具有相同的功能和意识体验，出身非歧视原则（Principle of Ontogeny Non-Discrimination）仍然没有被推翻。

尽管出身非歧视原则断言存在主体的道德地位与其出身无关，但是它没有否认一些道德主体会因为存在主体的出身而对其负有特殊的责任这个事实。父母对他们自己的孩子有着特殊的责任；这份责任超过了他们对其他孩子的责任，尽管其他孩子的能力与自己的孩子完全相同。同样，出身非歧视原则并不反对享有道德地位的AI系统的制造者或者拥有者对他们自己的人造大脑有特殊的超过其它AI系统的责任，尽管其他AI系统的能力与自己的AI系统不相上下，且享有相同的道德地位。

如果基础原料非歧视原则和出身非歧视原则被接受，很多关于如何对待人造大脑的问题将找到答案；我们只需要将我们在其它熟悉的场景用来确定我们的责任的同样道德原则应用于人造大脑。只要道德责任起源于道德地位，我们就应该和对待人类一样，在相似的场景中以同样的方式对待人造大脑。这让如何完善对待人造大脑的伦理问题得以简化。

即便接受了这个立场，我们仍然必须面对上述原则无法解决的一系列新的伦理问题。新的伦理问题出现的原因在于人造大脑可以拥有普通人类大脑或者普通动物大脑不具有的新能力。这些新能力将影响人造大脑的道德地位。

4， 拥有新能力的大脑的伦理问题

对于人类来说，我们通常会承认任何一个具有正常的言谈举止的人具有感觉能力或者意识体验能力。基本上不会有人相信会有人言行表现正常但却没有意识能力。要知道，其他人不仅仅有着与我们基本一致的言行；他们的大脑基本结构和认知基本结构也与我们基本一致。相反，人造大脑的基本构造可以与人类完全不同，却依然表现出类似人类的行为，或者掌握通常被认为代表人格的性格倾向。因此，完全有可能设计一个具有人的智慧，但是完全没有感知或者意识体验的人造大脑。如果有可能出现这样的系统，很多人会发出疑问，是否一个没有感知能力的人可以拥有道德地位，以及，如果答案为“是”的话，是否可以拥有与有感知能力的人一样的道德地位。由于通常认为每一个人都拥有感知，或者感觉的能力，这个问题还没有引起大家的注意。

另一个新能力，对人工智能来说既是形而上的又是物理的，是它的主观时间速率可以显著地偏离人类的生物大脑里的主观时间速率。要解释主观时间速率这个概念，最好先解释“大脑整体模拟”或者“大脑上传”这个概念。

“大脑上传”是指一个假设的未来技术，即能够把人类智能或者动物智能从原先的生物大脑里全部打包转移到一台数字计算机。“大脑上传”的操作步骤大致如下：首先，一个超高清晰度扫描器对源大脑进行扫描和切片；这种扫描和切片可以细致到识别所有的神经，所有的类神经互联，和其它所有与生物大脑功能相关的特性的程度。第二步，这个包含了源大脑的组件和内部互联通路的三维地图作为数据，与作为算法的洞悉每个基本大脑单元（比如不同类型的神经和类神经联结）的功能或者属性的神经科学理论库相结合。第三步，由一台或者一组高性能计算机复制运行这个算法结构和基础数据组成的综合体。如果成功执行了“大脑上传”，计算机程序将能够复制大脑的基本功能。上传大脑可以栖居在虚拟现实内，或者控制一个机器人身体，让这个机器人与外部物理世界互动。

“大脑上传”将带来一系列的问题：如果有一天这个技术具有可行性，它是否安全？如果实施了“大脑上传”并获得了一个看上去与源大脑的人格、记忆和思维模式都相同的计算机程序，这个程序有感知能力吗？这个上传大脑和源大脑是同一个人吗？如果对上传大脑进行再复制，怎样界定两个同样的上传大脑的个人身份？尽管所有这些问题都与人工智能的伦理有关，目前让我们专注于主观时间速率问题。

假设上传大脑有知觉。如果我们在一台运算速度比较快的计算机上运行“上传大脑”程序，这将导致这个上传大脑——如果这个上传大脑与一个输入设备，比如摄像机相连接——感觉到外部世界是以慢动作在运行。比如，如果运行这个上传大脑的计算机的计算速度是初始生物大脑的一千倍，那么在上传大脑看来，外部世界就放慢了一千倍。如果外面有人掉了一只咖啡杯，这个上传大脑看到的是这个咖啡杯缓慢地掉到地上，而在这个过程中这个上传大脑读完了晨报，发送了几封电子邮件。外部现实世界里1秒的客观时间相当于上传大脑17分钟的主观时间。客观时间和主观时间之间发生了偏离。

主观时间不同于存在主体对时间流逝的估计或者感觉。人类经常对时间的流逝产生错觉。我们可能认为现在是1点，但实际上现在是2点；或者一种兴奋剂可以让我们的思绪飞奔，让我们感觉时间在飞快地流逝。这些普通的例子涉及的其实是对时间的错误感知，而不是主观时间速率的改变。即便是在因为吸毒而损坏的大脑中，基本的神经元计算速度也很可能没有明显变化；更大的可能性是，毒品驱使这个大脑产生了许多念头，并飞快地从一个念头切换到另一个念头，让每个念头只能占用很短的大脑主观时间。

多样的主观时间速率是人造大脑的一个新能力，带来了新的伦理问题。举个例子来说，如果在某个场景下，体验的持续时间与伦理有关，我们应该以客观时间还是主观时间来衡量时间长短？如果一个上传大脑犯了罪，被判入狱四年，这个四年指的是客观上的四年时间——这可能意味着几千年的主观时间——还是指四年的主观时间——这可能是仅仅几天的客观时间？如果一个计算速度飞快的AI和普通人类同时感受到痛苦，是不是应该优先消除AI的痛苦，因为AI感受到了更长的主观时间的痛苦？由于在我们所习惯的碳基人类的场景中，不同人之间的主观时间基本相同，因此毫不奇怪，这些问题不能直截了当地使用现有的伦理规范加以解决，即便这些伦理规范已经借助非歧视原则扩展到人工智能。

为了解决这个伦理挑战，我们制定（但不作论证）了优先考虑主观时间作为基础概念的“主观时间速率原则”：

如果体验的持续时间具有基本的规范意义，持续时间用体验的主观时间进行计算。

到目前为止，我们讨论了两种可能出现的新伦理挑战（没有感知能力的智慧，和多样化的主观时间速率）；这些问题具有形而上的复杂性，且在当下的现实世界中找不到实例。未来的可能AI的其它新能力可能是基于一些表层的原因，比如与我们目前熟悉的大脑之间的定量的区别（而非质的区别。但是这些表层的新能力也会带来新的伦理挑战——如果不是基本的道德哲学层面的挑战，至少也是底层应用层次或者中间层次的挑战。

人工智能的一些新能力与其生育有关。目前适用于人类生育问题的一些经验无法应用于人工智能。比如，人类孩子是一对夫妇的基因材料的组合的产物；父母影响后代的性格的能力是有限的；人类胚胎需要在子宫里面孕育9个月；人类孩子需要经过15到20年才能成年；人类孩子无法直接继承其父母已经学会的知识和能力；人类掌握了一套与生育、养育和亲子关系有关的复杂的、不断变化的情感适应能力。所有这些经验都不适用于人工机器智能的生育。因此，所有我们已经习以为常的管理人类生育的中间层次的道德原则在AI生育这里都需要重新思考。

重新思考的原因很简单，AI拥有我们没有的能力，即能够快速生育。AI不仅能够快速地复制其软件，只要能够接触计算机硬件，AI也能够同样快速地复制其硬件。不仅如此，由于AI的复制品与初始版本完全一样，AI一出生就成年，而且AI的复制品也能立刻生成自己的复制品。如果不存在硬件限制，AI的数量将在极短的时间内飞速增长，可以在几分钟或者几小时内数量翻倍，而不是像人类一样需要几十年或者几个世纪才实现入口数量翻倍。

我们现有的关于生育的伦理规范包括若干个版本的生育自由原则，即由个人或者夫妻自己决定是否生育孩子以及生育几个孩子。我们的另一个规范（至少在富裕国家或者中等收入国家）是如果有些孩子的父母没有能力或者拒绝养育孩子，国家或者社会必须介入照顾这些孩子。显然，在拥有及其快速的生育能力的AI场景中，这两个规范会带来什么后果。

假设有一群上传大脑，其中一个上传大脑碰巧想尽可能多进行生育。在享有充分的生育自由的情况下，这个上传大脑能够以尽可能快的速度复制自己；上传大脑的复制品——可以运行在祖先上传大脑购买或者另外租用的新计算机硬件里，或者与祖先上传大脑分享同一个计算机——也将复制自己，因为这些复制品与祖先上传大脑完全一样，也分享了它开枝散叶的愿望。不久，这个上传大脑的氏族发现自己或者无法支付电费账单，或者无法支付租用用于维持自己生存的存储器和计算设备的费用。此时，或许社会福利系统能够介入为这些上传大脑提供最低限度的生存资源。但是，如果上传大脑的数量超过经济的承受限度，资源将会耗尽，上传大脑们要么死亡，要么被剥夺生育的权利。

这个例子告诉我们，如果当代社会试图接纳那些具有新的能力的存在主体，比如生育能力超强的AI系统，就需要对一些目前使用的中间层次的实践伦理原则进行修改。

需要再三强调的是，在思考与我们现在熟悉的人类社会状况截然不同的场景的应用伦理时，我们要小心不要混淆中间层次的实践伦理原则和普适的基础伦理原则。换句话说，我们必须承认，我们现在遵循的伦理训诫之所以被广为接受，是因为它们理解并顺应了相应的社会实际状况；当把这些伦理训诫应用于假设的未来场景，其社会实践状况发生变化时，很可能需要修正这些伦理训诫。基于这些考虑，我们并不是在鼓吹道德相对主义等等容易引起歧义的空谈，而只是强调伦理应用总是受环境的影响这个常识——并且指出在思考有着新能力的大脑的伦理时，这个观点的重要性。