数字独裁崛起

一旦人失去了经济价值，他们可能也都失去政治权力。令数十亿人在经济上无关紧要的新技术，也使他们更容易被监控。

想一想关于监视的问题。世界上许多国家（包括一些民主国家）正忙于建立前所未有的监视系统。以色列是监视技术领域的领导者，并在被占领的西岸地区创建了一个全面监视制度：今天，每当巴勒斯坦人打电话，在Facebook上发布内容或从一个城市到另一个城市旅行时，他们很可能会受到以色列麦克风，相机，无人机或间谍软件的监控。算法分析收集的数据，帮助以色列安全部队查明并消除他们认为是潜在威胁的内容。巴勒斯坦人可以管理西岸的一些城镇和村庄，但以色列人掌控着天空，电视广播和网络空间。有效地控制居住在约旦河西岸的大约250万巴勒斯坦人，只需要很少以色列士兵。

2017年10月，一名巴勒斯坦劳工在他的私人Facebook账户上张贴了自己在工作场所的照片，以及推土机。并在上面写了一句“早上好！”Facebook翻译算法在翻译时出现了错误。算法将这些字母识别为Ydbachhum（意思是“伤害他们”），而不是Ysabechhum（意思是“早上好”）。以色列安全部队怀疑这名男子可能是一名恐怖分子，于是迅速逮捕了他。在他们意识到算法出错之后释放了这名巴勒斯坦人，而“违规”的Facebook帖子也被删除了。巴勒斯坦人今天在西岸的经历，可能只是全球数十亿人终将经历的未来预览。

假如，朝鲜目前的政权在未来获得了这种技术的更高级版本。朝鲜人可能需要佩戴生物识别手镯，监测他们所做和所说的一切，以及他们的血压和大脑活动。利用对人类大脑日益增长的理解并利用机器学习的巨大力量，朝鲜政府最终可能能够衡量每个公民每时每刻都在想什么。如果一个朝鲜人看着领袖的照片，生物识别传感器发现了愤怒的迹象（血压升高，激素水平增加），那个人第二天就可能被捕。

其实很多时候根本无需使用这种“硬控制”技术。尽管一些国家对公众的实际控制越来越少，但却可以左右其投票的立场，操纵选民感情的尝试不是什么新鲜事，而一旦某人（无论是在旧金山，北京还是莫斯科）获得了有效的，低成本的大规模心理操纵技术，民主政治终将沦为一场木偶剧。

未来几十年，我们不太可能遭遇具备了感情的机器人，但是可能不得不面对那些比你妈更善于控制你情感的机器人，而它们会非常熟练的使用这种不可思议的能力。人类的精英在忙于向我们推销一些东西，无论是汽车，政治家还是整个意识形态；而机器人则直接识别我们内心深处的恐惧，仇恨和渴望，并利用它来对付我们。

其实人工智能革命的最大、最可怕的后果，是影响民主国家和独裁政权的相对效率。历史上的独裁政权在创新和经济增长方面面临着严峻的障碍。在20世纪后期，民主国家通常胜过独裁统治，因为他们在处理信息方面要好得多。我们常将民主与独裁之间的冲突视为两种不同道德体系之间的冲突，但它实际上是两种不同数据处理系统之间的冲突。民主分配权力来处理信息并在许多人和机构中做出决定，而独裁统治将信息和权力集中在一个地方。鉴于20世纪的技术，在一个地方集中太多的信息和权力是低效的。没有人能够足够快地处理所有可用信息并做出正确的决定。这是苏联做出比美国更糟糕的决定的原因之一，以及为什么苏联经济远远落后于美国经济。

但人工智能可能很快将钟摆向相反方向摆动。AI可以集中处理大量信息。实际上，它可能使集中式系统比分散系统更有效，因为对机器学习而言信息越多效果越好。如果您忽略所有隐私问题并将所有与十亿人相关的信息集中在一个数据库中，那么您将获得比尊重个人隐私更好的算法，命令其所有公民进行DNA测序并与某些中央机构分享医疗数据的政府，将比那些在医学数据严格尊重隐私的政府和机构获得巨大的优势。20世纪的主要障碍（将所有信息和权力集中在一个地方）可能成为21世纪的决定性优势。

当然新技术将继续出现，其中一些技术可能会鼓励分配而不是集中信息和权力。如区块链技术以及由其启用的加密货币的使用，但区块链技术仍处于萌芽阶段，我们还不知道它是否会真正抵消人工智能的集中化趋势。请记住，互联网在早期被宣传为一种自由主义的灵丹妙药，可以让人们从所有集中系统中解放出来，但现在它已经准备让集中系统比以往更加强大。

把权力交给机器

即便一些社会能够努力保持表面上的民主，算法对效率的影响仍会改变我们，人类个体越来越多的把权力交给联网的机器，因为我们将从生活经验中逐步变得越来越信任算法，心甘情愿地放弃对我们生活的更多权力，最终失去了为自己做出决定的能力。

短短二十年时间，数十亿人就已经向Google的搜索算法委托给每个人最重要的任务之一：找到相关且值得信赖的信息。我们更多地依靠Google来寻求答案，我们独立处理信息的能力减弱了。今天的“真相”是由Google搜索的最佳结果定义的。这个过程同样影响了我们的身体能力，例如导航，人们要求Google不仅要查找信息，还要引导他们。自动驾驶汽车和AI医生同样如此：虽然这些创新将使卡车司机和人类医生失业，但最重要的是加剧了人类的权力和责任向机器转移的过程。

人类习惯于将生活视为由一系列决策组成的戏剧。自由民主和自由市场将个人视为一个不断对世界作出选择的自主的理性人。艺术作品（无论是莎士比亚戏剧，简奥斯汀小说，还是好莱坞喜剧）通常围绕着英雄做出一些关键决定。生存还是毁灭？听我妻子的话并杀死邓肯国王，或按照我的良心饶恕他？嫁给柯林斯先生或达西先生？基督徒和穆斯林同样关注决策的戏剧性，认为永恒的救赎取决于做出正确的选择。

当人类依靠AI为我们做出决定时，这种生活观会发生什么？现在我们相信Netflix会推荐电影，Spotify会选择我们喜欢的音乐。你觉得AI帮助我们做出选择的进程会裹足不前？

每年都有数百万大学生需要决定学习什么，这是一个非常重要和困难的决定，是在父母，朋友和教授的压力下做出的，他们有不同的兴趣和意见。它也受到学生自身个人恐惧和幻想的影响，这些恐惧和幻想本身就是由电影，小说和广告活动所塑造的。使问题复杂化的是，一个特定的学生并不真正知道在一个特定的职业中取得成功需要什么，并且不一定对他或她自己的优缺点有现实的认识。

人工智能有朝一日可以做出比职业生涯规划更好的决策，甚至替你决策人际关系也不在话下。一旦我们开始依靠AI决定学习什么，在哪里工作，与谁约会甚至与谁结婚，人类生活将不再是决策的戏剧，我们的生活观念将需要改变。不但民主选举和自由市场不再有意义，大多数宗教和艺术品也是如此。想象一下安娜·卡列尼娜拿出她的智能手机并询问Siri是否应该与卡列宁结婚还是与潇洒的伯朗斯伯爵私奔。想象一下你最喜欢的莎士比亚通过Google算法做出所有重要决定，哈姆雷特和麦克白的生活会更加舒适，但这些生活会是什么样的生活？我们是否有能够理解这种生活的模型？

议会和政党是否克服了这些挑战并阻止了黑暗的情景？目前这似乎不太可能。技术破坏甚至没有出现在政治议程表上。在2016年美国总统竞选期间，技术的破坏性主要内容涉及希拉里克林顿的电子邮件崩溃，尽管两位候选人都在谈论失业，但都没有直接解决自动化的潜在影响。特朗普警告选民墨西哥人会接受他们的工作，因此美国应该在其南部边境修建一堵墙。他从未向选民发出警告说算法会占用他们的工作，他也没有建议在加利福尼亚周围建立防火墙。

人类何去何从？

首先，我们需要更加重视人类思维的运作方式，特别是如何培养自己的智慧和同情心。如果我们在人工智能上投入太多而在开发人类思维方面投入太少，那么愈加复杂的人工智能可能只会加剧人类的愚蠢化，并培养我们最糟糕的（也可能是最强大的）冲动，其中有贪婪和仇恨。为了避免这样的结果，我们应在投资于改善人工智能的同时，对探索和发展人类意识投入同等力度。

更实际而直接的是，如果我们想要防止所有财富和权力集中在一小撮精英手中，我们必须规范数据所有权。在古代，土地是最重要的资产，因此政治是控制土地的斗争。在现代，机器和工厂变得比土地更重要，因此政治斗争的重点是控制这些重要的生产方式。在21世纪，数据将使土地和机械都成为最重要的资产，因此政治将是控制数据流动的斗争。

不幸的是，我们在管理数据所有权方面没有太多经验，这本身就是一项比管理土地或机器更困难的任务。数据无处不在，无时不在，它们可以以光速移动，您可以根据需要创建任意数量的副本。收集的关于我的DNA，我的大脑和生命的数据是属于我，还是属于政府，公司或人类集体？

积累数据的竞争已经开始，目前由谷歌和Facebook以及中国百度和腾讯等巨头领导。到目前为止，这些公司中的许多公司都充当了“关注商家” – 他们通过向我们提供免费信息，服务和娱乐来吸引我们的注意力，然后他们将我们的注意力转移给广告商。然而，他们真正的业务不仅仅是销售广告。相反，通过吸引我们的注意力，他们设法积累了大量关于我们的数据，这些数据比任何广告收入都更有价值。我们不是他们的客户，我们是他们的产品。

普通人会发现很难抵制这个过程。目前我们许多人都乐于赠送我们最宝贵的资产（我们的个人数据）以换取免费电子邮件服务和有趣的视频。但如果某一天，普通人决定试图阻止数据流，他们可能会遇到麻烦，特别是因为他们可能已经开始依赖网络帮助他们做出决策，甚至他们的身体健康和生活。

政府将数据国有化固然是一种办法，它肯定会遏制大公司的权力。但历史表明，把财富交给政府并不一定是最好的办法。我们的科学家，我们的哲学家，律师，甚至我们的诗人把他们的注意力转向这个大问题：如何规范数据的所有权？

人类有可能变得与家养动物相似。我们培育了生产大量牛奶的温顺奶牛，但远远不如其野生祖先。他们不那么敏捷，不那么好奇，而且资源不足。我们现在正在创造驯服的人类，他们在巨大的数据处理机制中产生大量数据并作为高效芯片发挥作用，但他们却没有在发展人类自身潜力方面有所进展。如果我们不小心翼翼，我们最终会让人类退化，并让进化的计算机日益泛滥，对自己和世界造成严重破坏。

原载于《大西洋》杂志2018年10月号，https://www.theatlantic.com/magazine/archive/2018/10/yuval-noah-harari-technology-tyranny/568330/

来源：人定湖学者

转载请注明：北纬40° » 科技缘何成为暴政的帮凶？