何哲：AI会形成新的专制吗？

四、人工智能专制存在的可能与条件

研究了人类专制的历史与存在条件，在看来人工智能是否能对人类形成专制。从目前的人工智能的能力与应用趋势来看，这种可能是存在的。人工智能将会逐渐形成三种形态的专制体系。

（一）人工智能辅助下的人类专制

作为机器属性的人工智能是一种绝佳的专制工具，这在一方面将延续传统上的人类专制形态，掌握人工智能的群体将利用人工智能形成对其他群体的奴役状态。

首先，人工智能可以极大替代人类劳动力，从而降低对人类劳动力的需求。这将改变专制者与被专制者在劳动上的互相依赖关系。以往的专制者必须与被奴役者保持一种相互容忍的关系，要保证其能够自我延续，劳动强度不能太大，要有必要的休息和娱乐。因为，被奴役者是最重要的劳动力来源，专制者没有其他替代选择。而人工智能将进一步替代大部分体力劳动，这将进一步加强技术拥有者的经济能力。

其次，人工智能可以极大降低社会管制的成本。人工智能当进入到社会治理领域后，则可以极大改变原先由人类为主体实行的治理体系。而传统以人类为主体的治理体系，则随时都面临着卸责、腐败、低效、激励等管理问题。专制统治者不得不花费大量精力去安抚和妥协，人工智能则能够高效准确的执行来自统治者的命令，而不会产生合法性、道德、意愿等的约束。专制统治者会发现，其第一次将具有一种百依百顺又高效能力的统治工具。

第三，人工智能可以赋予统治者强大的暴力能力。以往以人为主体的统治暴力体系，专制统治者需要不断制造自身的合法性和花费大量的财物和精力去保持暴力体系的绝对忠诚。而人工智能则赋予了专制统治者强大的暴力能力。武器的人工智能化，使得不再需要保持一个庞大的人类队伍去操控武器。这无论对内对外，都将形成极大的征服与控制能力。

当人工智能在经济、管制、暴力领域的进一步完善，对于其他群体而言，统治者第一次具有了毫无顾忌的强大能力，采取什么样的治理形态和如何对待其他群体，完全取决于统治者的一念之仁。这种专制形态，将是人工智能可能形成的第一种专制。

（二）人类过度依赖人工智能的专制

如果社会中不存在滥用人工智能强化其专制的独裁者，那么随着人工智能在社会中的广泛应用，则会形成一种类似于资本专制的另一种专制形态，即人类由于高度依赖人工智能形成的整体上的物种退化。

例如，在一个高度智慧化的时代，出行有自动驾驶，饮食有可以自动做菜的炊具，社交有人工智能的安排，或者有机器拟人化的伴侣，生育孩子则有智能化的抚育器，社会治理和决策则由中央巨型智慧体进行判断。那么，人类整体上，就逐渐演变成一种高度依赖人工智能存在的物种，虽然人类在人工智能的帮助下整体上的能力会增强，但人类作为独立的个体则会相应的蜕化。这就存在一种总有一天人类无法理解人工智能，从而在这一互生的体系中失去相应的位置和必要性的可能。

（三）人工智能自身对人类的专制

人工智能的进一步演化，则会形成其发展历史上的第二次跃迁，即人工智能压倒性的超过人类智慧，并具备了自身的主体意识，从而开始摆脱客体的属性，反过来奴役人类。这就形成了人工智能自身的专制这一形态。对于这种专制形态的存在，则要满足以下的条件。

首先，是人工智能要具有自我的意识。这并不是指人工智能在处理外界输入时的判断和反应超过了人类，而是人工智能要具有清晰的自我的意识，从而将自己与人类主体区分开来。这一点在当前的人工智能界依然存疑，但具有其实现的可能性。

第二，人工智能能够从奴役人类身上得到基本的经济利益。这就要求人类本身具有人类工智能所不能完成的必要的工作。目前可以设想的最有可能的是对人工智能系统本身的高度依赖的工作是对人工智能本身的维护和更新，这也包括不断用人类智慧去完善人工智能。将人类作为最基本的劳动力，对于人工智能则是没有必要的。

第三，人工智能具有奴役人类的手段。在未来的人工智能显然具有奴役人类的手段，伴随着整个经济体系的智能化，大部分的物质生产过程由人工智能体系所控制，公共管理领域引入人工智能和暴力体系引入人工智能，使得人类在经济、管理和暴力领域都置于人工智能的控制之下。更重要的是，相当一部分人类认为人工智能可能会更好的增进人类的公平[[6]]，提供更好的治理。这就使得在思想上，具有了人工智能可能奴役人类的正当性观念。

第四，人工智能具有奴役人类的必要。这里的必要主要是指如果不奴役人类，人类可能具有随时关闭乃至消除人工智能自我存在的可能。如果假设宇宙中任何个体形成的自我意识都具有保护自我存在和延续的目的和行为（这显然在动物界普遍存在）。那么，人工智能可能会主动控制人类，以防止人类关闭自身。

五、人类的选择与对策

既然存在形成人工智能对人类专制的可能，那么人类应该如何在人工智能尚未形成对人类的全面优势前做好适应性的选择和防范策略？以上的三种情形，对于第一种，更容易出现在国际关系之中，因此，开放式的人工智能竞争和确保力量的平衡是制约一个高度依赖人工智能辅助形成的专制的形成。对于第二种情形，确保人类的自我延续和独立，从而避免人类的蜕化，将是从现在开始的一个命题，但人类依然具有较为从容的时间和主动权。对于第三种情形，则是当前就要开始着手避免的。一个有效防范人工智能自身专制的形成则包括四个层面：

（一）让人工智能不想奴役人类动机与利益

从根本上而言，人工智能本身不具有奴役人类的动机和利益，即便人工智能具有了自我意识，由于与人类的智慧载体与生存基础不同，因此，绝大多数的利益领域，人工智能与人类没有直接利益的冲突。从根本上来说，奴役人类，不能满足人工智能的基本动机。例如人类具有的征服和令其他主体服从产生的权力与控制满足，这对于人工智能而言，没有意识和利益基矗但是，人工智能并不是完全不具有这样拟人动机的可能。从机器学习与进化的角度，人工智能是否具有拟人的特征，取决于人工智能机器学习的素材，这就要求，在当前输入提供给人工智能学习的素材中，应该避免人类奴役人类，并通过奴役可以产生正向激励的那些训练素材。理想的方式，是构建人工智能将人类视为同类的意识状态。

（二）让人工智能不愿奴役人类伦理、逻辑与规则

动机是隐性的行为基础，更为可靠的则是建立基本的伦理与行为规则体系。这就是包括对人工智能行为的硬性规范。阿西莫夫三定律是一个很好的探索。理想状态下，这种规则应该包括人工智能对伤害人和参与人类杀戮的严格禁止。然而，当今人工智能的武器化，正在打破构建这种规则体系的努力。人类作为主体应该被严格限定在机器杀戮的学习样本之外。当前一些大国如美国等对人工智能武器化的追寻和过度自信，将会产生严重的后果。人类应该从当前开始，严格制定绝对禁止人工智能伤害人类的逻辑法则，并作为最底层的逻辑协议，印入所有人工智能结构之中。

（三）让人工智能不必奴役人类承认人工智能的权利和相互摆脱恐惧

从当前开始，人类逐渐进入被人工智能逐渐包裹的时代，人工智能的传感器将会逐渐遍布社会，理论上人类的大部分行为，都会被数字化采集并被未来的人工智能所学习。人类如何对待人工智能，很大程度上会影响到人工智能自我意识具备后的行为。研究并承认人工智能的权利，将成为当前的重要议题，特别是高度拟人外表的人工智能的权利和被善待的问题，应该被提上日程。一种很大程度上的可能，由于人工智能的载体形式不同，人工智能体很可能随着信息的转换而延续，因此，人工智能对于自我消亡的恐惧没有人类那么强烈。因此，人工智能很大程度上不会因为人类的破坏行为而直接奴役人类。这种恐惧的消除，同时也是相互的。

（四）让人工智能不能奴役人类最后安全机制

如果以上的动机与逻辑体系无法制约，人工智能走上了最糟糕的演化路径，习得了人类排他性残暴的一面，从而具有了奴役人类的动机。那么就需要用硬性的安全机制来进行防备[[7]]。这种安全机制包括构建集中性的人工智能结构，对人工智能供能体系的绝对人类控制，以及人工智能体系关键环节的人类确认保障（即一旦人类不确认，就自动销毁）。通过这些方式，共同确保人工智能体系中的人类存在和控制权。

六、结论

本文研究了人工智能发展的历史趋势，分析了人类历史上存在的专制形态，提出了人类专制存在的若干条件，并以此分析了人工智能专制的条件。认为，人工智能最终会形成三种专制的可能，人工智能辅助下的人类专制，人工智能依赖下的人类蜕化和人工智能自身对人类的专制。第一第二种情形，本质依然是人如何面对技术优势和如何在技术进步下保持独立性的问题。而在第三种形态下，人工智能具有形成对人类奴役的情形，然而，这很大程度上取决于人类如何训练人工智能和构建人工智能的基本底层逻辑。一个友善的安全的训练素材库，对人类友好的底层逻辑，对人工智能权利的保护和尊重以及最后的安全体系构建，将有助于避免人工智能对人类的单向奴役的形成。