断层线 科技世界长期以来一直由那些反传统的人所主导，他们对于是非的观念自觉与大多数人不同。
在本系列的第一部分中，我探讨了羞耻感作为一种方式，使群体能够在没有明确国家干预的情况下调解和执行社会规范。但硅谷出现了一种新兴的福音，它挑战了美国羞耻感的边界和机制。当全球数百万人类每天花数小时与机器人交谈时，会发生什么？是谁教会了那个机器人分辨是非？是谁让它感到羞耻？
假设有一种疾病、一个怪物、一场战争或某种东西正在夺走人们的生命。再假设你只有足够的资源来实施以下两项中的一项：
-
确定无疑地拯救400条生命
-
有90%的概率拯救500条生命；有10%的概率无法拯救任何生命。
我所认识的最令人钦佩的人非常在意别人怎么看他们，甚至会在意那些他们本不该重视其看法的人（他们中数量多得惊人的人会做些类似保存一个文件夹、里面装满仇恨者推文截图的事）。但让他们与众不同的是，他们通常从非常长的时间尺度上在意别人的看法——只要历史书最终写对了，他们甚至会颇为自豪地让报纸写错。
尤德科夫斯基早在之前就警告过这个问题。“好人确实会编写出这样一种人工智能，它看重程序员们认为有益的一系列理念，比如自由主义、社会主义或让人们幸福之类的，”他当时写道。相反，他提出了一种“元操作”，在这种操作中，人工智能可能会“叠加全人类可能的反思平衡，并输出新的代码，这些代码覆盖当前的人工智能，并在这种叠加中获得最连贯的支持。”换句话说，这台机器会感知世界的温度，并选择最佳的指导。
假设爱丽丝、鲍勃、卡罗尔和丹尼斯正在构建人工智能。爱丽丝：“我想让全世界都由爱丽丝统治！”鲍勃：“我想让全世界都由鲍勃统治！”卡罗尔：“我认为每个人都应该有一票，并平等分享宇宙。”丹尼斯：“我认为每个人都应该有一票，并平等分享宇宙。”一种看法是，如果卡罗尔或丹尼斯赢了，你分不清到底是谁赢了。所以他们在人工智能上留下的指纹更少。
不过，我认为还有一个更重要的视角：爱丽丝和鲍勃是在当混蛋，而卡罗尔和丹尼斯则在努力不当混蛋。
爱丽丝会说：“哈！卡罗尔和丹尼斯也不比我好到哪里去！他们不过是在把自己的观点强加给世界，什么人民自治、平等分享宇宙租金！这跟‘爱丽丝成为永恒的神皇’一样，都只是卡罗尔个人的偏好罢了！她让AI按她的意愿行事，我也让AI按我的意愿行事，她凭什么觉得自己比我高尚！”坦白说，我对这些爱丽丝们实在没什么耐心。乔治·华盛顿拒绝当国王时，他并没有因此就和国王一样坏，因为他由此让美国按照自己的意愿由选举产生的总统来治理。他没那么混蛋。
当然，仔细审视之下，这里确实有一些真正重要的微妙之处，但你得先越过爱丽丝是个幼稚又自以为是的讨厌鬼这一点，才能开始思考那些微妙之处。爱丽丝的观点很无聊，任何为此纠结不休的人都永远到不了有趣的部分。