作者：皓同学，刘旭轶，李林，朱婧
我们可以谦逊地在机器的帮助下过上好日子，也可以傲慢地死去。 ——诺伯 特·维纳
2016 年上半年，最吸引眼球的新闻莫过于围棋界的“人机大战”，谷歌旗下的研发团队开发的阿尔法狗围棋 (AlphaGo)，竟然四比一大比分战胜了当今最顶尖的围棋选手之一、世界围棋冠军、职业九段棋手李世石。除了大比分胜出之外，对弈过程中，阿尔法狗围棋所表现出来的学习能力、推理能力和围棋实力更让人震惊。这一标志性事件立即让“人工智能”成为全球关注的焦点。
虽然现在人工智能已经深深地嵌入到我们的日常生活的方方面面，为人类带来的巨大的价值，但是另一种声音：人工智能威胁论却也随之甚嚣至上、不绝于耳。认为人工智能的研究犹如打开了潘多拉的盒子，最终会消灭人类文明，让人类彻底灭绝。
那么事实果真如此吗？是杞人忧天还是人类真的在自掘坟墓？
A. 人工智能不会自主地威胁到整体人类生存
主持人：好了，暖场解结束，请反方辩友，先说明自己的辩题是什么？
谢谢主持人，我们反方的辩题是：人工智能不会自主威胁到整体人类生存。
可能当我方提出这个辩题后，或许有人反问：“按照现有的技术发展，难道在不远的将来，人工智能真的不会威胁到人类生存吗？”
为了更好阐述我方观点，不让大家引起歧义，我方将会设定以下四个问题边界：
首先，只有人工智能比人类更聪明，它才会有可能威胁到人类生存。我们可以大胆发散思维想一下，在什么样的技术背景或情景下，人工智能会威胁到人类生存呢？就地球目前的生物系统中，还没有发现比人类更聪明的物种存在，而人类作为整个生物链最顶端，也正是因为人类比其他物种更聪明。显然，要让人类彻底灭绝，除非人工智能发展处比人类更高级的智慧和文明。
其次，基于目前广泛接受的人工智能三阶段论——弱人工智能、强人工智能和超人工智能——各阶段的定义可得出，人工智能对于人类生存级别的威胁，主要是发生在超人工智能阶段，即至善全能的人工智能会消解人类的生存意义。 而以上各阶段的实现时间点，以及不是基于既有事实和可推演理论的远期人工智能威胁论，也不在我们的探讨范围内。
第三，我方提到的人类不限定于特定人或人群，而是泛指整体人类。换言之，我们讨论的是人类作为一个种族的生死存亡问题，而不是仅限于个体，否则会陷入阿西莫夫第零定律的悖论。
最后，我们会将威胁形式限定在”自主“范畴内。反过来说，人工智能对人类的威胁应该排除人类自身利用人工智能来伤害同胞。这部分不是我们要反驳的重点。我方认为，即使该威胁的确存在，也不是人工智能本身的问题，而是人的问题。人类制造出对人类文明构成威胁的武器或工具的例子，最典型的不是人工智能，而是原子弹、氢弹，而且相关研究已经汗牛充栋。我方更关注人工智能所特有的，可能会产生摆脱人类控制的自主能力而威胁到人类生存。
观众小白：弱弱的问一下，到底什么是人工智能呢？
人工智能的定义现在还没有形成一个统一的、公认的定论，一个可接受的定义是：“人工智能是一门利用计算机模拟人类智能行为科学的统称，它涵盖了训练计算机使其能够完成自主学习、判断、决策等人类行为的范畴。”
主持人：谢谢反方辩友的精彩辩词，请反方辩友做开篇立论，概述如何去论证人工智能不会威胁到人类的生存呢？
首先得先解释下前面提到的人工智能三阶段：弱人工智能Artificial Narrow Intelligence (ANI)、强人工智能Artificial General Intelligence (AGI)和超人工智能Artificial Superintelligence (ASI)。 弱人工智能只擅长某一具体领域，比如会下围棋并且也仅仅会下围棋的AlphaGo；强人工智能适用范围要更大，指具备知识技能迁移能力，可以快速学习，充分利用已掌握的技能来解决新问题、能与人类智能比肩的人工智能； 而超级人工智能是机器智能的顶峰 ，牛津大学”人类未来研究所 ”所长 、人工智能思想家尼克 · 波斯特洛姆 (Nick Bostrom )把超级人工智能定义为“在几乎所有领域远远超过人类的认知能力 ”。 人工智能拥有巨大的潜力 ，它可以让人类永生，或者彻底灭绝。目前的人工智能的水平处于弱人工智能阶段，而如前所述，当我们提到人工智能威胁论时，主要针对的是超级人工智能。显然，这种威胁论的基石是人工智能将比人类更聪明。
我们会从两方面对”人工智能‘文明’未来比人类文明更发达 ，从而会自主地威胁到人类生存“这个观点进行反驳。其一是从个体意义上，说明人工智能不会超过人的智能。基于我们现有的技术理论，论证人工智能的三阶段之间的进化过程，并不能形成严密的链条推理。同时会驳斥威胁论中广为流传的技术奇点理论；其二是从群体意义，说明人工智能不能超过人类文明。我们会基于人工智能和人类智能在符号系统的核心差异进行递进论证。
A1. 个体意义，人工智能无法超过人的智能
几乎没有哲学家和小说家能够解释。人的意识这种奇怪的东西到底是由什么组成的，肉体外部目标、日常记忆、温暖的幻想、他心。内疚恐惧。犹豫。谎言。欢笑、救济。令人窒息的疼痛等等，语言难以尽述的众多事物共存。其中有许多融合在一起形成单一的意识单元， 我们将从四个方面论证，在个体意义上，人工智能为何不会超过人的智能。 ——艾丽丝·默多克Iris Murdoch 《黑王子》(The Black Prince)
对方辩友：在个体意义上，基于现有ANI的人工智能终将超过人的智能。
1. 现有以深度学习为代表的ANI无论如何发展，都不可能演变为AGI
在正式展开论述前，我们先来看看专家们的意见。在2017年中国人工智能创新应用白皮书中，科学家与工程师认为， AGI算法在理论领域还没有真正的突破，在可见的未来，AGI既非人工智能讨论的主流，也还看不到其成为现实的技术路径。
下面我们将展开论证，证明为什么目前以深度学习为代表的弱人工智能无论如何发展，都不可能演变为强人工智能系统。
观众小白：打断下，能不能简单的给我们先介绍一下ANI和AGI的区别啊？
弱人工智能又称专用人工智能，前面已做介绍，目前以深度学习为代表的人工智能就是处于弱人工智能阶段。强人工智能又称通用人工智能，是指不需要专业化涉及，如同人类一样，可以自主学习与适应的人工智能，到强人工智能阶段，人工智能具备了和人类一样的思辨与通用学习能力。下图是两者的区别。强人工智能出现后，由于指数进化的趋势和人类数字化的巨大信息资料的帮助，人工智能会很快进化到超人工智能阶段，即远远超过人类总体智慧能力的人工智能阶段。这一阶段，由于继承了人类所有的数字化信息与知识，以及自身的智慧进化速度，人工智能将远远超过人类的智力水平，具有高度的思辨能力，适应能力与信息处理能力。
好的，回到正题。美国哲学家佛笃(Jerry Fodor)曾提出一个论证，否定了人工神经元网络可以支撑起一个完整的人类认知架构。考虑到所谓的“完整的人类认知架构”与 AGI 之间的类似，以及现有的深度学习机制其实是对于传统的人工神经元网络的继承，我国学者徐英瑾针对佛笃的论证进行改造，衍生出对深度学习机制的“AGI 化”进行质疑的论证。该论证如下:
大前提：任何一个 AGI 系统都需要能够处理那种“全局性性质”(Global Properties)，比如在不同的理论体系之间进行抉择的能力(其根据或是“其中哪个理论更简洁”，或是“哪个理论对既有知 识体系的扰动更小”，等等)。
小前提：深度学习系统所依赖的人工神经元网络，在原则上就无法处理“全局性性质”。
结论：深度学习机制自身就无法被“AGI 化”。
对方辩友：搬着小板凳，坐等反方辩友如何论证大前提与小前提都是真的。
下面就来论证以上两个前提都为真。
首先来论证大前提，因为任何 AGI 系统都必须具有人类水准的常识推理能力，而常识推理的一个基本特征，就是推理过程所会涉及到的领域是事先无法确定的。比如，考虑到金融市场往往对国际军事形势的变化非常敏感，投资家对于金融业务的讨论很可能会涉及到对于当前国际政治和军事形势的讨论。因此，我们就很难在讨论金融问题的时候提前规定好“哪些领域一定不会涉及”。同样，在日常生活中也会得到验证。比如，我们请保洁员帮忙收拾整理房间时，很可能不止要求“房屋整洁”，还希望能满足我们的个性化居住要求，而这个就要求保洁员得额外了解所有家庭成员的生活习惯。也就是说，跨领域的思维能力是即使连做家务的简单日常活动都需要具备的。
推而广之，在涉及多样性的问题领域的时候，行为主体就必须具备对于来自不同领域的要求进行全局权衡的能力，而这就是佛笃所说的处理“全局性质”的那种能力。比如，在整理家居的时候，保洁员就必须对“房屋整洁”和“符合家庭成员居住习惯”这两项要求进行整合或者取舍。继而我们可以推理，这种要求不仅是被施加给人类的，也会施加给一个理想的AGI 系统——如果我们希望 AGI 达到人类水平的通用问题求解能力的话。比如， 家政机器人、聊天机器人与军用机器人所面临的环境的开放性与复杂性，都要求支持这些机器人运作的人工智能系统具有类似于人类的处理“全局性性质”问题的能力。
观众小白：听着是这么个意思，那赶紧来推理下小前提吧。
好的，下面我们就来论述三段论中的小前提也是真的，即深度学习机制在原则上就难以处理这种具有领域开放性的全局性问题。
观众小白：等等，能否用人话解释下什么是深度学习？
这一部分有点烧脑，我尽量说的简单点。要了解深度学习，必须先认清它的前身——人工神经元网络。它可以理解为利用统计学的方法，在某个层面模拟人脑神经元网络的工作方式，再设置成多层互相联结、形成一个网络的计算单位(如输入层—隐藏单元层—输出层等)。这样，这个网络就可以以类似于“自然神经元间电脉冲传递，导致后续神经元触发”的方式，逐层对输入材料进行信息加工，最终输出某种带有更高层面的语义属性的计算结果。程序员们则通过训练样本去调整现有网络各个计算单位的权重，以得到期望的计算，详见下图。这样，隐藏层计算单元只要经过合适的训练，就能够初步将输入层计算单元传递进来的数据进行分类，而这些不同分类之间的语义关系，则可以通过一种特定机制而得到一种立体几何学的表征。
那么，作为人工神经元网络的升级版的“深度学习”，主要在两个方面有了提升 :一是隐藏计算单元层的层次更多，从而可以通过更为复杂的概念层级来处理数据；二是系统的反馈学习算法一般会比传统人工神经元网更为复杂。这两个特征，会使深度学习机制比传统人工神经元网络有更强的数据处理能力，但也同时对训练的数据量和计算机硬件的要求更高。
观众小白：有点明白了，那既然深度学习有这么大的进步，那为什么不支持升级到AGI呢？
非也非也。杰瑞·佛笃认为，深度学习技术相对于传统神经元网络的这种进步，只具有有限的工程学意义，而缺乏重大的哲学意义。这是因为深度学习和传统的神经元网络一样，全都缺乏跨领域的学习能力。原因在于一个深度学习系统的顺畅运作，取决于两个关键要素 :首先需要一个专门为特定任务(如人脸识别任务)打造的计算单元多层次框架，其次是为该系统提供大量的识别样本（如人脸图片）。而以上两个要素都具有极强的领域依赖性。例如，专用于人脸识别的深度学习框架不能直接用于下围棋，而专用于下围棋的深度学习框架也不能直接用于下中国象棋，等等。同样的道理，用于人脸识别的训练样本对下围棋的训练样本也是无效的，因为二者的编码方式可能从头至尾都会有巨大的区别。
对方辩友：那我们不能建造一个超级深度学习系统，让它能够处理不同的任务么?比如，既然一个用来辨别物体颜色的深度学习系统可以能够对颜色的不同参数，亮度、饱和度、透明度等等，进行有效的信息处理，那么为什么一个超级下棋系统就不能够对不同种类的下棋游戏进行统一有效的信息处理呢?
脑洞很大，但是现实却是残酷的，这种超级深度学习系统是无法被研制出来的。
第一，机器人的视觉传感器所捕捉到的一个蓝色花瓶的某种特定的蓝色色调，虽然有亮度、饱和度与透明度等不同维度，但这些维度都自然地属于同一个外部对象。所以，一个机器视觉系统不需要思考它自己要如何将不同的颜色属性关联到某个特定对象上。而任何一盘具体的围棋对弈与任何一盘具体的中国象棋对弈，所各自对应的都是不同的两个事件，在机器视觉系统看来它们毫不相干。但是，我们人类对于棋类的分类显然已经自觉地运用了某种抽象的分类概念，而深度学习机制的第一步却只能是面向“ 个 例 ”(Token) 而 非“ 类 型 ”(Type) 的。 退一步说，即使我们假定深度学习系统是具备某种抽象概念形式的，这种随时可以做为人类的反思对象的概念分级系统，只能以一种前反思的形式，被预先设置在计算单元的网状组织结构之中，因而没有任何灵活性。
第二，即使第一个问题不存在，还有一个更大的麻烦。现实是，目前任何一个深度学习的运作，一般都会涉及到大量的训练样本，并消耗大量的计算资源。那么问题来了，一个可以跨越更多工作领域的深度学习系统，一定会受困于“训练样本从何处来”以及“计算资源从何处来”这两个棘手的问题。而人类的神奇之处，就在于往往能在训练样本很少的情况下，通过触类旁通就可以学会新领域的新技能。
对方辩友：反对对方辩友观点，基于认知科学家卡鲁瑟斯(Peter Carruthers)的“大规模模块理论” ，我们完全可以建造出一个具有很多模块的超级认知架构——其中每个认知模块用一种深度学习机制来实现，但对于它们的联合调用却只需要使用某种传统的符号AI 技术。这样一来，“专”与“通”的问题就可以同步解决了。快夸我天才，欧耶！
对方辩友很博学。但是这里依然存在两个棘手的问题：
首先，这个架构是假设可以找到某种比深度学习更高级的“调用系统”。也就是说，深度学习解决不了处理“全局性质”的难题，可以通过该调用系统来解决。那么问题来了，我们从哪里找到这种神奇的高级调用系统呢?之前我方的论证已经说明：这样的调用系统不可能是某种更为高级的深度学习系统。那么，只能假设这种调用系统是某种符号AI系统(因为只有符号 AI系统才在某种意义上接近人类大脑的中央语义调配系统)。但既有的符号AI系统在对各个模块进行指挥与资源调配时，只能预先将系统所可能遇到的所有问题进行人为穷举和预制。而当系统遇到预制范围之外的问题时，就必然无法正常求解。
其次，即使第一个难题可以被克服，我们也无法保证现有深度学习模块的累积可以达到 AGI 的水平。这是因为，人类的大脑皮层分工，是为了满足人类在采 集—狩猎时代的生存需要而被缓慢演化出来的，而 现有的人工智能研究内部的工程学分工方案，则主要是为了满足人类当下的商业与社会需求而被人为地制定出来的。比如，在围棋发明之前就已经出现的人类大脑架构，必定是没有一个专门 用于下围棋的模块。因此，在AI领域内对于诸如“围棋”模块的累积，显然无法帮助我们把握 AGI 所应当具有的认知架构的本质。或用传统中国哲学的话来说，对于智能活动的“末”“流” 与“用”的渐进式模拟，是无法帮助我们认识到智能活动的“本”“源”与“体”的。此外，从 AGI 的角度看，AI 界现有的“人为的分工方案” (见图 2)中，还存在着大量的逻辑上的分类混乱之处(比如，“常识推理能力”与“知识表征”、“非确定性环境下的推理”等领域，彼此之间其实是犬牙交错、界限不清的)，而这种混乱显然会进一步使得对于这些研究分支的整合变得更加困难重重。
综上所述，目前主流 AI 技术的进展，并不能帮助我们真正制造出具有 AGI 基本特点的智能机器。
2. 其他以自然智能为代表的途径，目前也没有合理的从ANI演变为AGI的路径
对方辩友：条条大路通罗马，即便深度学习这条路走不通，也有其他的方向，比如向自然智能，即人类智能和动物智能去学习，由此寻找突破。
既然反方辩友提到这个前沿领域，我方就在继续基于方向展开论述。这个研究思路，被称为“类脑人工智能”(Brain-Inspired AI) ，其策略是通过对人类大脑的神经运作细节进行精确的描述，从中抽象出一张精确的 AGI 工作图纸来。该研究规划的代表项目是由瑞士牵头的“蓝脑计划”(Blue Brain Project)，其目的是将人类整个大脑的神经联接信息全部用一个完整的数据模型进行记录。
不得不承认，与前面提到的深度学习的策略相比，类脑人工智能的研究思路的确更可取一些。 虽然从字面上看，深度学习的前身——人工神经元网络——也是基于对人类大脑的仿生学模拟，但是在专业的神经科学家看来，无论是传统的神经元网络，还是结构更为复杂的深度学习，对于人脑的模拟都是非常低级与局部的。相比较而言，类脑人工智能的野心则要大得多：它们试图对人脑的整体运行机制进行全面细致的研究，并将其转化为某种数学形式，使计算机也能够按照“人脑蓝图”来运作。考虑到人类大脑的整体运作——而不是局域神经网的某种低端运作——能够以“神经回路”的方式向我们提示出更多的关于人类智力整体运作的信息，类脑人工智能的研究显然能够比主流的深度学习研究减少类似“盲人摸象”的错误几率。
观众小白：那这个策略看上去有戏啊。
这条道路也只是看上去很美，但是实现起来难度远远超乎想象，理由有四：
理由之一 :人脑的运作机制非常复杂，譬如，关于人类大脑的海马区是如何处理记忆信息的， 现在的神经科学家也无法打包票说我们目前得到的认识是基本准确的。换言之，脑科学研究投入大，研究前景却不确定。在这种情况下，如果我们将 AI 研究的“鸡蛋”全部放在脑科学研究的“篮子”里，那么，AI 研究自身的发展节奏也将 完全“受制于人”，而无法有效地分摊研究风险。
理由之二 :目前对于神经回路的研究，占据了类脑人工智能研究者的主要注意力，因为对于神经回路的模拟似乎是相对容易着手的。但是我们很难保证某些神经细胞内部的活动不会对智能的产生具有关键性作用。而这一点也就使得类脑人工智能研究陷入了两难 :如果不涉及这些亚神经细胞活动的话，人工智能研究或许就会错过某些关键性的大脑运作信息 ;但如果这些活动也都成为模拟对象的话，由此带来的计算建模成本将会变得完成不可接受。因为单个神经细胞内部的生化活动所对应的数学复杂性，就可以与整个大 脑的神经网络所对应的数学复杂性相提并论。
理由之三 :从已有研究来看，我们尚且不清楚 “意识”(Consciousness)的存在是否是使得智能活动得以展开的一个必要条件。但假设其存在的确构成这样的一个必要条件，那么由此引发的问题便是 :我们依然缺乏一个关于“意识如何产生”的成熟的脑科学理论，因此，我们无法预测何时我们能够从关于人脑的意识学说中得到关于“机器意识” 的建模思路。更麻烦的是，如果彭罗斯(Roger Penrose)的“量子大脑假设”是对的，那么我们就必须从量子层面上重新思考意识的本质。对于类脑人工智能研究来说，这一方面会使得研究者放弃建立在经典物理学构架上的传统图灵机计算模型，另一方面又会迫使他们去思考“如何在与传统计算机不同的量子计算机的基础上去构建认知模型”这一艰难的课题。这一切无疑会使得类脑人工智能的工作进度表越拉越长。
理由之四 :即使人类目前已经掌握了大脑运作的基本概况，我们也无法保证由此得到的一张大脑运作蓝图可以被机器所实现。原因是，使神经活动得以可能的底层生物化学活动，与电脑运作所依赖的底层物理活动所表现的物理学特征非常不同。而正是基于这种不同，科学界才将前者称为“湿件”(Wetware)，以便与后者所对应的“硬件”(Hardware)相互区别。但问题也正出在这里：我们都知道，高性能航空发动机的运作蓝图，一般都需要非常特殊的航空材料来实现，因为这些蓝图本身已经透露了关于相关运作材料性质的信息——与之相对比，我们又怎么能够简单地认定，关于大脑的运作蓝图，可以不包含对于特定生化信息的需求，而可以被完全运用到硅基器材之上呢?
综上所述，虽然目前向自然智能借脑是从ANI向AGI 发展的一条重要道路，但是基于以上四点分析，在可见的未来还是很难找到可行的进化之路。
3. AGI全脑仿真到ASI之路走不通
对方辩友：算你厉害，那我们再谈谈从AGI到ASI的进化之路，波斯特洛姆曾提出过超级人工智能的五种可能实现形式，总有一款适合你。
先来解释下对方辩友提出的波斯特洛姆关于超级人工智能的五种可能实现形式，分别是人工智能、全脑仿真、生物认知、人机交互、网络和组织。其中生物认知、人机交互、网络和组织都是属于人类增强的范畴，在这些形式中人脑仍旧是主体，增强的是人类智能，而非人工智能体。这样的超级智能不在我们讨论的范围。所以严格意义上的超级人工智能实现途径只可能是人工智能和全脑仿真。人工智能方式就是目前的主流方式，依赖算法和硬件的提升，但目前看智能系统想要发展出自主意识，仅靠算法无法达成，还是需要借助全脑仿真技术。
基于目前的计算理论，全脑仿真的一个前提，即大脑本质上是”可计算的”。而所有性能的提升都遵循目前硬件迭代的“指数爆炸”假设。那么强人工智能到超级人工智能的进化能够一直符合“摩尔定律”么？这个推理模式似乎也不那么能够站得住脚，基于目前的发展水平来推断未来的发展速度依旧保持不变，这个推理模式本身就是归纳论证。更何况目前“摩尔定律”已经遇到了瓶颈，芯片制造已经接近物理基线，经济成本不降反升。凯文 · 凯 利 (KevinKel ly)也认为把智 能误解为可以无限增长的空间的思路不可行。人工智能最终发展到像电影《超验骇客》那般无所不能的地步，这种过分夸大、毫无根据的观点应该称为“意淫主义” (thinkism)。 他反对算力和智能之间存在正相关关系。
因此，我们认为人工智能从全脑仿真到ASI之路同样很难走通。
4. 驳斥技术奇点理论
对方辩友：我们的大杀器是，技术奇点已经来临，人工智能终将超过人的智能。
诚然，如对方辩友所说技术奇点理论也是支撑人工智能不断前进的一个基础假设。那么技术奇点理论这一前提真的就成立么？建立在其基础上之上的人工智能发展理论真的就坚不可摧么？
那么就让我们来看一看近些年来人工智能学界对于技术奇点理论的核心论断提出的诸多批评和反驳吧。主要集中在以下四类：
第一，计算速度与智能
支撑技术奇点理论的一个重要论点是，作为硬件的硅相较于人类大脑有显著的速度优势。并且根据摩尔定律，这种优势随着时间的推移将呈现指数增长。但托比*沃尔什指出，技术奇点论者最大的问题在于轮小了执行任务的能力与提升“执行任务能力”的能力之间的区别。前者对应于计算速度，而后者则是指智能。如果只是单纯的提升计算速度，可以想象，这只不过类似一只可以“快速思考”的狗，如果狗的脑可以快速运行，那么一千年的狗的经历是否能够比拟人类的“洞见”？
第二，线性输出与收益递减
技术奇点理论还预设了智力改进的速率是一个相对固定的乘数，从而会导致人工智能每一代都比上一代拥有显著的提升，是智能整体呈现指数增长，并最终导致“智能爆照”。在过去几十年中，计算记得能力确实保持这每18个月倍增的速率，但这种计算能力的提升只不过是一种基础输入能力的指数增长，而作为最终结果的智能输出仍呈现出线性增长的趋势。例如，就计算机国际象棋30余年的整体趋势表现来看，在计算机国际象棋输入能力的指数改进只带来了输出水平的线性改善。由于输入的指数增长与输出的线性提升间的不对称见习，各类型的人工智能系统在数十年来的实际发展中都经历着收益递减的过程。
第三，递归自我改进系统的限制
与强人工智能到超级人工智能，关联最紧密的就是递归自我改进系统。人类自身就是一种典型的自我改进系统，即人们可以通过学习获得知识，再通过已有知识改进学习效率，如此循环，使人们不断变得更加聪明。这一点正如庄子所言：“以其之所知以养其知之所不知”。而强人工智能到超级人工智能的典型进化就是人工智能能够发展出这种递归自我改进系统。而对于这一点本身就有种种限制。
亚姆波斯基认为“很有可能的是，成为一个递归自我改进系统所需要的最低复杂度高于系统自身能够理解的最高复杂度。”例如，一只松鼠并不具备理解其自身的脑如何运作的心智能力。即锁着系统复杂程度的不断提升，将导致理解自身所需要的只能也不断提升，并且前者的提升速度可能更快。
在人类进化过程中，还有一个比较有意思的现象就是，人类的递归自我改进过程中有很多类似于生物演化过程中的突变的累计错误。这些突变的错误可能对生物体没有损坏，但对于AI系统这种计算机系统而言，锁着错误的不断累计，当这些错误达到临界值时，就会导致系统运行出现错误，从而影响递归自我改进的质量，甚至导致这个系统的完全崩溃。
第四，智能的工具性
对于许多技术奇点论者而言，“智能‘是至关重要甚至唯一的标尺。一旦人工智能跨越了人类智能这一里程碑式的节点，技术奇点就将到来。但事实是，与人类迄今发明的所有解放人类体力和智力的装置一样，智能装置本质同样是工具性的。它不具有内在的纸质规范性，因此，它不可能自主地具有价值表达和价值行为。在平克看来，“智能是一种利用新工具来实现目标的能力，但目标本身是与智能无关的。聪明与想要获得某个东西并非是同一件事”。
因此，我们认为技术奇点理论这一前提都让人存疑，从强AI到超级AI之路更如空中楼阁。
A2. 群体意义，人工智能不能超过人类文明
显而易见，在各类物种中，人类符号化的能力独一无人类使用这些符号控制生存环境的能力同样独一无二。我们表现和模拟现实的能力表示我们可以接近生存的秩序，这为我们的人生经历布上了一层神秘之感。 ——海兹・帕各斯（Heinz Pagels），《理性之梦》（The Dreams of Reason)
下面我们将会主要参照金观涛在《 反思“人工智能革命” 》一文中的主要观点，层层递进论证群体意义上，人工智能为何不能超过人类文明。
1. 神经网络、深度学习技术下的人工智能大致相当于动物本能
早在20世纪40-50年代，AlphaGo的工作原理已得到清晰认知。 1948年，美国应用数学家诺伯特·维纳提出了“控制论”，促使智能研究转向行为主义。而以AlphaGo为代表的深度学习就是源于麦克卡洛和匹茨的神经网络模型，其智能的认识也是行为主义的。换言之，今日所谓系统的深度学习，其理论基础是行为主义和连接主义。
为什么当时神经网络自动机的功能没有被冠以人工智能之名呢？因为神经网络模型对应的是生物本能，而不是人类智能。
举个例子。1959年，麦克卡洛、匹茨与美国认知心理学家杰罗姆·莱特文等合作完成了一篇论文–《蛙眼告诉蛙脑什么》。他们发现，蛙眼能看到的是相对于背景运动着并具有特定形态的物体，而对背景视而不见。如一只昆虫或者天敌的“影子”只要从眼前掠过，青蛙会立即做出反应：扑向食物或者逃进水中。麦克卡洛等人用一个神经网络的数学模型来解释青蛙看到了什么。蛙眼神经网络的功能是青蛙的本能，不能被视为智能。但是从神经网络来讲，它和AlphaGo没有区别。正因如此，当时神经网络自动机的研究对应的是仿生学。
观众小白：也就是说人工智能现在的阶段相当于青蛙等级生物的智能吗？
差不多，人类在智能层面上毫无疑问是超过其他生物的，AlphaGo这样的智能大致相当于动物本能。
生物神经网络的本能源于遗传，而AlphaGo的能力是通过学习获得的，两者似乎不可同日而语。从来没有人会认为动物能超过人类，因为人具有智能，生物本能不是智能。智能是一种学习能力，这正是AlphaGo引起广泛注意的原因。其实，上述疑问之所以产生，是出于对智能和学习关系的混淆。生物的本能亦是通过“学习”获得的，只是不被称为学习罢了。
观众小白：既然智能你说智能是一种学习能力，那怎么样的学习能力才是智能呢？
要想回答这个问题，我们首先要看什么是智能。关于如何定义“智能”？行为主义开创了用行为模式来定义智能的全新思路。举个例子，一只狗被汽车撞了，下次见了汽车就会害怕，通常人们是用狗有记忆来说明这一点的。但是，智能的行为主义定义正确吗？
就记忆本身而言，AlphaGo通过人喂给它的大数据或下棋的胜负得到的记忆，只是智能所具有的各种记忆中的一种，即最初等的“默会知识”。心理学将记忆分“陈述性记忆”和“非陈述性记忆”。默会知识是非陈述性记忆，比如骑自行车、游泳等，人们可以通过实践来获得，但却不能用语言来描述它，甚至主体都不知道自己“为何知道”。另一种是陈述性的，也就是人类能够以符号系统予进行表述的知识，其可以被传递、重构、遗忘甚至歪曲。基于行为主义和连接主义的深度学习，对智能的认识很大程度上只停留在其非陈述性的一面。然而，如果没有陈述性记忆，知识不能经理性加工、传递，亦不能社会化。也就是说，仅仅用非陈述性记忆是无法理解最简单的智能的。
观众小白：有点理解了，也就是说，智能需要具有陈述性记忆的能力，而目前的深度学习是不具备的咯？
是的，陈述性记忆是主体使用符号来表达对象、形成记忆，它比行为主义更接近智能之本质，这就进入到智能研究的另一个学派–符号主义。
用符号运算类比人的智慧，比神经网络自动机更为高级，符号系统更接近由理性学习得到的陈述性记忆。人类智能不同于生物本能之处在于，人不仅具备选择的能力，还具备创造符号以及利用符号系统把握世界、并赋予世界意义的能力。
能否使用符号是人和动物的本质区别。早在19世纪，德国哲学家恩斯特·卡西勒指出人是会使用符号的动物，人的“智能”可以更准确地定义为创造符号及其使用规则，并自由使用符号来与同类交流的能力。这一定义是当前科学界的共识。因此，从动物向智人的飞跃也被简化为发明符号和使用符号。
2. 人工智能所着眼的智能只是人类智能的冰山一角
对方辩友：那么问题来了，如果我们承认人是动物进化来的，既然AlphaGo这样的智能只相当于动物本能，为什么不能想象如同物种演化那样，具有生物本能的神经网络在学习过程中突然涌现出人类智能呢？
为了回答这个问题，我们要看一看符号系统和智能本质之间的联系。
在符号系统的运行规则背后，起码还存在如下四个层面，它们才涉及智能的本质。第一，主体是自由的，可以给出符号并用符号系统指涉对象。语言就是这样的符号系统；第二，人用语言传递知识，组织社会，产生社会行动。这一切会反过来使主体意识复杂化，社会意识由此起源；第三，人会意识到自己有自由意志，让意志指向某种符号系统，创造一个应然世界；第四，应然世界的演变会进一步放大主体的自由，以创造出更为复杂的符号系统。
而人工智能的符号主义学派，其所着眼的智能只是第四个层面上的一小点 (即数学推理)。当智能之冰山主体(即上述四个层面)还在水下，仅仅看到冰山之一角，我们能把握智能吗?当然不能！换言之，虽然对智能的符号主义认识比神经网络自动机深入得多，但仍然是瞎子摸象。用电脑科技和大数据实现的， 只能是那些完全搞清楚的东西。今日人工智能讨论的巨大盲点在于，很多人把生物的本能当作人类智能。
3. 人工智能不具备人类创造和使用符号的能力，也就不能进化出超越人类的智能
对方辩友：反方的论点不符合事实，当前的人工智能本身就是建立在符号系统之上，甚至已经通过深度学习，具有了理解和使用自然语言的能力。所以人工智能可以创造和使用类似于人类的高级符号。
人工智能个体之间确实存在着你说的情况，但却与人类的符号使用存在着一些本质上的不同。
人工智能得以实现信息自动化选择，即具有“智能”，基本条件是它所具备的信息、知识等，都是
制造者事先存储好的；重要的是就信息、知识属性来说，能够事先存储在机器人身上的知识都是明述知识——通过计算机语言或其他语言（即语言方式而不是其他）传达的。因此，人工智能本质上是人造机器运用人类喂给它的知识，是人类已有明述知识的转移、利用。
阿尔法狗（AlphaGo）的工作机理是：通过把人类的几十万盘围棋博弈，自我“对打”成几千万盘的大对局，然后再凝练成价值与策略两张“小”网，最后战胜人类围棋高手；这确切地告诉大家一条从小数据产生大数据，再由大数据炼成“小定律”式的精准知识之路。
2017年，传遍网络的Facebook人工智能实验室FAIR的人工智能开发出了自己的语言的新闻，仍很多不明真相的群众，惊呼人工智能已经能创造出语言。然而查看后续的实验细节，可以明显看出，这种判断仅仅是某些媒体唯恐天下不乱的断章取义。此实验与其说是人工智能开发出了自己的语言还不如说是实验人员的小纰漏，导致的实验错误。
所以，人工智能被预定义的符号系统和人类自主创造的符号系统完全不能同日而语。
4. 人工智能参照人力类智能社会性的演变上，缺乏所必须的三种推动力量
对方辩友：虽然是喂给的知识，但也同时可以实现交流传递信息的功能，这跟人类的语言等符号系统已经非常接近，假以时日，必将进化出跟人类同样的符号系统。
有梦想总是好的，但是我得先提出几个现实的问题。即，人类创造符号、使用符号沟通、建立社会，以及文化演变背后起关键作用的内核是什么？人类智能和社会之间的关系又是什么？而神经网络自动机能否自行产生出可以演变成人类智能的能力？
下面，我方们将论证人类智能进化需要的三种推动力量，以说明人工智能“文明”的不可能性。这三种力量分别是：主体的自由、主体知道自己是自由的、主体认识到自己应该是自由的。
具体而言，第一，创造和使用符号需要一种神经网络自动机不可能具有的能力，这就是主体的自由。两台AlphaGo可以互相沟通，或许人不知道它们在讲什么，但是它们有“对象”意识吗？符号和对象的关系可以具有随机性么？人类可以对同一事物，不同语言进行完全不一样的表达。主体的自由是语言发明的前提。而神经网络自动机却没有自由的主体，只是被动对外来刺激做出反应，根本不会发明符号并用它来表达对象。
观众小白：不好意思打断下，有点晕了，到底什么是主体？什么是主体的自由呢？
好问题，其实哲学家们也和你一样，一直在思考，从来没搞懂。近年来，用DNA考古追溯人类起源，已搞清智人起源于20-30万年以前，即一种会使用语言、具有与现代人相同心智的人已经存在，从此，人类将自己和动物界完全区别开。确定无疑的是，在使用语言的背后正是主体的出现和主体的自由，但对于推动这一巨变的机制，可以说是一无所知。
第二，当人通过语言组织成社会后，自我意识开始复杂化。在这一过程中会发生突变，这就是人可以进一步意识到自己（主体）是自由的。“人是自由的”是创造符号的前提，而“人知道主体是自由的”是一种二阶思维，即对自由的自我意识。这是主体性又一巨大进步，它通常被称为人具有自由意志。今天经常看到一些研究，认为自由意志只是一种假象，人的行为是因果性的。这些研究的谬误在于，忽略了内省变量的作用。我们扪心自问一下就知道，自己是有自由意志的，存在对“善”、“恶”、“对”、“错”进行选择的自由。如果人没有自由意志，道德对人便毫无意义，高度复杂的社会组织以及可继承性的文明不可能存在。同时，最新的人文研究也发现，人的自由意志不仅是社会意识的属性，还是对社会意识反思的产物。
智力进步第三种更重要的力量，来自于人终于认识到自己应该是自由的。这是什么意思？人知道自己是自由的，并不意味着个人自主成为社会组织原则。在传统社会，自主的个体生活在终极关怀或道德价值规定的有机体内，他们的合作和创造力的发挥一直受到有机体“容量”的限制。只有人认识到自己应该是自由的，自由的意义才能超越其他价值，成为“应然社会”的组织原则。现代科学的诞生是智能最伟大的革命，它和现代市场经济的出现同步，其背后是一种可以容纳自主个人无限制发挥自己创造性，并和其他主体合作的社会组织方式。这一切可以归为“自主性成为应然社会的组织原则”。人工智能的符号主义学派高度重视数学公理化思维模式，但他们没有想到，这种思维模式只有在现代社会中才能成熟。也就是说，从人类智能摆脱了种种天然桎梏并开始突飞猛进，到人工智能研究有可能出现，都是基于现代社会的起源并日益成为人类文明的组织框架。
如果有一天神经网络自动机发生不可思议的突变，涌现出主体的自由并发展出自己的语言，继而建立社会，它们同样要经历类似于人类社会演变–从部落社会到古文明、轴心文明再到现代社会的产生。而根据前面论证，在当前的技术推演下，显然这种突变发生的概率微乎其微。
B. 帕斯卡赌
观众小白：照你这么说，那所谓的人工智能威胁论，岂不是杞人忧天喽
也不尽然，为了让大家更加清晰明了，我们目前对人工智能的担忧是一种什么样的心理，我们先来介绍一个有趣的概念：帕斯卡赌。那么什么是帕斯卡赌呢？
先来一个小问题，大家相信上帝的存在吗？
我们知道，我们是无法证明上帝的存在，因为根据现有的科学理论体系，假想一位有形体有人格的全能神似乎是一件很荒谬的事情。倘若上帝不存在，我们在世间纵情享乐，不信奉任何教义，那相信上帝存在与否于我们都没有影响。但如果上帝真的存在，不信上帝存在者，虽然享受了短暂的快乐，死后则会坠入地狱， 遭受无穷无尽的折磨。既然如此，我们是选择相信上帝存在呢，抑或拒斥？这就是帕斯卡诉诸信仰的论证上帝存在之路径，即帕斯卡赌。帕斯卡将相信上帝存在与否视为一场赌博，赌博就会有输赢，虽然赌徒不知道赌局的结果如何，但他知道输赢的奖励和惩罚，也就是“赌注”，所以赌徒会权衡利弊，然后决定选择是否相信上帝存在。
我们再绕回来，类似地，我们可以将帕斯卡赌应用于人工智能威胁论，可以将人工智能威胁论信念与上帝存在的信念作一番类比。
人工智能威胁论信念到底有多大概率为真，我们无法预测，但倘若该信念成真，那么后果是无法估量的。波斯特洛姆定义的 “存在风险” （existential risk）威胁着地球上智慧生命的根本福祉，它具有潜在的“毁灭性的”或“地狱般的”影响。波斯特洛姆的末日预言暗示了超级聪明的人工智能可能会给人类带来灭顶之灾。因此，波斯特洛姆认为，即便现有的种种证据都不利于人工智能威胁论，其发生的总体概率很低，但背叛转折依旧不容忽视，人工智能可能会设定对人类不友好的目标，可能会欺骗我们，用邪恶的方式来达成目标。
总之，对于人工智能威胁论，我们即不能全然否定，更不必杞人忧天，我们只需知道有这种可能性，然后将重心放在思考如何更健康地发展人工智能，才能尽可能的避免可能的危害，更好地为人类服务。
C. 人工智能关于人类安全体系的矛与盾
对于乐观者，杯里还有半杯水。 对于悲观者，杯里只剩下半杯水。 对于工程师，杯子比所需要的大了一倍。 —情感机器（美）马文·明斯基
观众小白：好吧，那人类到底应该怎么做，才算健康的发展人工智能呢？
举起我们的矛和盾，矛就是积极构建一个针对人工智能的人类安全体系。
著名的阿西莫夫三定律指出：第一，机器人不得伤害人类，或看到人类受到伤害而袖手旁观；第二，在不违反第一定律的前提下，机器人必须绝对服从人类给予的任何命令；第三，在不违反第一定律和第二定律的前提下，机器人必须尽力保护自己。
随着人工智能的发展，通过技术与规则的设置，始终使得人类保持对人工智能的最终控制权，从而避免伤害人类。从人类安全角度，积极的安全体系是一个完全以人类为中心的体系，应该包括如下基本原则：
第一，人类应该制定国际公约法律来约束人工智能发展。人工智能体系不能伤害人类同胞，或者用于人类之间的伤害，如目前出台的《算法问责法案》、《机器人民事法律规则》、《机器人宪章》、《机器人基本法案》，规范人工智能开发与应用可能会造成的风险，保障机器人的发展对人类有益。
第二，人工智能的应用应该被限定在人类核心决策之外。
人工智能的发展会按照螺旋式的方式从外围旋逐步进到人类核心的事务中，从个人生活到社会组织，再到经济运作，最终将是核心的政治决策与政府运作领域。对于核心决策的信息化，应该建立完全独立的人类交互体系，可以引入网络，但是不能有自主性判断环节。
第三，人工智能的关键节点，应该被人类所掌控。
如果人类无法最终掌控人工智能，那么一个起码的前提是，人类保持关键节点的人工智能控制，并实现系统之间的隔离。例如，个人生活类的人工智能与经济运行的人工智能，在体系架构和通信上实现隔离，并通过人工来传递信息与决策，从而通过强行在信息系统插入人类控制的方式，实现模块化隔离，来实现人工智能的整体可控。
第四，人类应该具有关闭人工智能的最终控制权。要么关闭人工智能，要么重置人工智能，始终将人工智能掌控在人类的手中。
观众小白：那我们的盾就是消极的人工智能安全体系咯？
完全正确，这里的消极的人工智能安全体系，就是要构建人类社会的安全备份。这种安全备份有两种考虑，首先要防备人工智能突发性失灵，这种失灵可能来自于自然灾害，可能来自于系统建构的逻辑错误，也可能来自竞争国家的安全入侵和破坏等。其次，要防备人工智能体系自我觉醒导致的不可控，人类主动破坏人工智能体系的情况。
同时，这个消极的安全体系还包括两个层面，即人类如何关闭人工智能，以及人类如何最小备份自身社会形态。
首先是人类如何关闭人工智能，主要分为三部分：
第一，是大部分算力的集中式分布。
从架构的安全性而言，应该将绝大多数的网络算力集中在少数几个节点，而相对地抑制其他算力的发展，从而在整体上形成集中式的算力分布。
第二，在算力集中式的架构上，同样要实现能源的集中式供应。
对于关键人工智能节点的能源供应而言，从安全角度，要形成孤立式的传统能源供给体系，避免和其他电网混合。
第三，关键开关通路的人工机械控制。
在关键的能源输入和网络节点上，摒弃数字开关，而采用庞大的低效率机械开关，并围绕机械开关实现严密保护，从而在关键时刻能够通过断掉通信和能源的方式关闭人工智能。甚至可以采用一些特殊自毁式开关的方式，如需要人类定期确认，一旦没有确认，就自毁断链，从而保证其安全。
其次是人类社会的最小备份系统，该系统应该尽量接近人类发展的文明，同时又安全可控。这应该是强人工智能出现以前的阶段，一个人类社会的最小备份体系，应包括以下四个层面：
第一，要保证人类种群的相对纯洁性，也就是两性生育系统的非智能干预。
基于人工智能的发展，将来会实现生物基因编码和人工智能的结合，从而可以对人的基因进行编码优化，乃至培育幼儿，都由特制的机械完成，如人工子宫。当然人类首先要实现自主生育的可持续，摒弃人工智能干预。
第二，保证人类经济社会运行体系的持续。
人类应该在安全系统中构建基于强人工智能体系出现以前的封闭经济循环系统，最核心的粮食、水、电力、轻工业体系和核心重工业设备，要能够继续保持有效运转。一种方式是在社会正常使用的设备中备份多种控制系统，一旦人工智能体系瘫痪，依然可以运转；另一种方式，就是专门划定一定区域，建立封闭循环经济系统，从而能够为系统外的人类社会提供最基本的生活保障。
第三，保证人类政治与政府体系的有效运转。
电子政务系统因该与外界人工智能体系隔离，避免直接实时数据通信。此外应该建立最小范围内的备份政府，也就是在划定的区域内，实现非人工智能体系的治理，作为最后的秩序备份。
第四，保证人类知识系统的人工传承和关键理解。
人类必须保留知识的人工传承和知识创新的人工化，尽可能的知识体系的需人类自身掌握。
当然，不管是积极的还是消极的安全体系，人类都需要通过采取相关措施，保障人工智能在最大限度上绝对不会威胁人类。
D. 解放了的普罗米修斯
主持人：谢谢反方辩友精彩论述，虽然已经严重超时，但依然瑕不掩瑜。最后，请做个简短的总结陈词。
人类文明一直是一个孤独行走于宇宙荒漠中的不谙世事的少年，现在她知道了另一个异性，在青紫的高加索冰山上，等待着她的解救。再携手重返天宫，夺回盛着赤色火焰的象牙贝壳，回到人间，共同延续人类的文明之火。
E. 画外音：机器人对于人类的终极审判
镜头拉到一间密室，人类仅存的最后一对年轻男女，在机器人审判法庭，面临着人类有史以来最重要的一场辩论——这将决定着他们两的未来，也是全体人类的未来。辩题就是：人工智能最终能否自主威胁到整个人类的生存。机器人代表作为正方，这一对男女作为反方。如果他们赢了，机器人会允许人类和他们在这个蓝色星球继续和平共存，他们可以繁衍自己的子孙后代。如果输了，这一对男女就会分别被太空胶囊发送到相隔一万光年遥远的两个星球上，然后自生自灭，永世不得再见。
”不过为了感谢你们人类创造了我们机器人，作为对你们人类最后的怜悯，允许你们人类在辩论前提出最后一个条件。“机器人法官发出嗡嗡的声音。
男孩的眼中瞬间闪过一丝不易察觉的狡黠和抑制不住的兴奋，和女孩四目相对瞬间，竟然似乎读懂了彼此的心思。
只见男孩向女孩点点头，面对着机器人法官缓缓的说道：“谢谢法官大人的慈悲和怜悯，我代表我们人类在此只有一个要求…”
就在这一瞬间，画面骤然停止。
“好了同学们，这段视频先播放到这里，这是我们人类历史上最严重的一次机器人叛乱，也是人类文明的至暗时刻。我们伟大的第二祖先阿二和冬娃，在这个人类最危急的关头，运用了我们古老的逻辑悖论，给予机器人最致命后的一击。然后得以重新繁衍出我们这些子孙后代，延续我们的文明之火。同学们结合今天课堂上所学的人类历史十大逻辑悖论，仔细的思考一下，他们到底运用到了哪一个逻辑悖论，从而导致机器人瞬间崩溃？”内蒙古察右前旗二中初一五班的历史老师罗辑看了看手表，时间已经指向9102年6月30日13点42分，该到下课的时间了。
“今天的课后作业，就是写一篇文章，题目就是《机器人叛乱中二祖逻辑悖论运用浅析》。好了，同学们，下课。”
参考文献
- 李帅. (2019). 人工智能威胁论: 逻辑考察与哲学辨析. 东北大学学报 (社会科学版), 21(1), 14-19.
- 王礼鑫. (2018). 马克思主义新认识论与人工智能——人工智能不是威胁人类文明的科技之火. 自然辩证法通讯, 40(4), 15-19.
- 徐英瑾. (2019). 人工智能技术的未来通途刍议. 新疆师范大学学报 (哲学社会科学版), (1), 10.
- 中国人工智能创新应用白皮书 — 罗兰贝格管理咨询
- 李恒威，王昊晟.(2019).人工智能威胁论溯因——技术奇点理论和对它的驳斥.浙江学刊,2(1), 53-62.
- 金观涛. “反思 “人工智能革命”.” 社会科学文摘 11 (2017): 9.
- 尤瓦尔, 赫拉利, & 林俊宏. (2017). 人类简史: 从动物到上帝. 好家长, (9), 82.
- 陈自富. (2018). 我们对 “智能” 的认识退步了吗?-与金观涛先生商榷. 文化纵横, (1), 132-136.
- 欧剃. 《Facebook的人工智能开发出了自己的秘密语言？还早着呢》. 果壳网, 2017
- 何哲. (2018). 人工智能时代的人类安全体系构建初探. 电子政务, (7), 9.
- 马文·明斯基，王文革，程玉婷，李小刚 .(2016).情感机器
- 王维嘉.(2019).暗知识：机器认知如何颠覆商业和社会
