和其他生物一样，人的实体存在也是一种自然生物，但人创造了文明，所以我们经常从精神上去定义人，且定义方式多种多样，其中有两条特别重要的定义路径：（1）按照古希腊传统，可以把人定义为理性精神，即人的本质在于理性思维；（2）按照儒家传统，把人定义为人际关系中的人。孔子的这个定义采用的是关系性的循环解释，比亚里士多德的“属加种差”定义方式要复杂一些。孔子的定义方式类似于现代公理系统对基本概念的定义方式。孔子的意思是，一个人无法根据自然性把自己定义为人，而必须在与他人的关系中才能被定义。以现代的表述来说就是：每一个作为生物的人，如果可以被识别为一个精神上的人，当且仅当他把别人识别为精神上的人。按照孔子定义的人的概念，人的关系先于人的本质。有趣的是，图灵所设想的“图灵测试”采用的也是关系定义，即如果一台机器在与人对话中能够被识别为人，那么它就是一个智能存在。不过，到目前为止，还没有一台机器能够通过图灵测试。其他还有一些比较重要的人的概念，比如，康德把人理解为具有理性自主性的主体性，马克思把劳动理解为人的本质，等等。

人是一个复杂概念，不可能化简为某种单一本质。比如，理性虽然是人的一个性质，但我们很难由此就认为动物没有理性。理性的一个基本原则是风险规避，从行为上看，动物的风险规避能力似乎高过人，或者说，人比动物更愿意进行非理性的冒险。还有，理性要求价值排序的逻辑一致性，在这一点上，动物也强过人。人总是欲望太多，贪得无厌，经常陷于“布里丹之驴”的选择困境。所以只能说，人有着更强的理性能力，但同时人也有非理性的倾向。我可能无法给人一个完美的定义，但我认为，至少有两个特点对于人的概念是最重要的：（1）仁，即互相把他人识别为人；（2）理性反思的自我意识，即能够反思自己的行为、价值观和思想的合理性。

人的非理性是一个谜。不过，在这里我不是要讨论心理学的潜意识或无意识之类的问题，而要讨论的是有着自觉意识的非理性，也就是说，人经常以理性思维去实现非理性的目标。这正是人类的危险之处。人工智能和基因编辑的努力就是试图以理性思维去实现非理性目标的典型事例。长期以来，人类的技术发展都只限于技术的升级，而技术升级属于理性目标，但人工智能和基因编辑不仅是技术革命，而且是存在论水平上的革命，相当于人类自己试图发动类似于上帝的创世行为，它意味着人类试图改变人的概念。这种目标还是理性的吗？这是个大问题。

存在论级别的生命升级诱惑，即人试图变成另一种具有神性的更高级存在，这是现代主体性思维的一种极端梦想。

存在论级别的生命升级诱惑，即人试图变成另一种具有神性的更高级存在，这是现代主体性思维的一种极端梦想。追溯其根源，现代的主体性梦想其实始于中世纪的宗教信仰，这件事情听起来很悖谬，因为上帝的概念不可能蕴含一个革命性的人的概念，但事实上许多不合逻辑的事情确实就产生于矛盾之中。粗略地说，中世纪的僧侣和学者希望能够理解上帝的精神，而理解上帝就需要了解上帝创造的万物，因此，中世纪的人们研究了各种事物，从植物、动物到海妖、天文。尽管以现代知识标准来看，中世纪的研究大多数是不科学的，但其重要意义不在于科学性，而在于求知性。对万物的求知潜伏着一个颠覆神学的人文问题：既然需要研究一切事物，那么最应该研究人，因为人是万物中最为奇妙的存在，包含着上帝创世的最多秘密。事实上，“现代第一人”彼得拉克就是依照上述逻辑而发现了人的问题。一旦人对自己的反思成为一切知识的核心，人就占据了思想的核心地位，进而人就发现了，一切存在都只不过是“我思”的对象，于是，人的问题就高于一切问题。在此可以看到，正是宗教的知识追求培养了宗教的掘墓人。笛卡儿、贝克莱、霍布斯、康德等所建立的主体性将人定义为自主独立的存在，人成为万物的立法者，于是一个现代人的概念由此建构起来。后来，主体性概念不断膨胀，人拥有的天赋权利越来越多，以至已经远远突破了自然人的概念，成为一种“自定人”，即自己决定自己成为什么样的人。这意味着，人不满足于自然或上帝所创造的原本状态，也不满足于被社会和历史定义的事实，而可以成为自己想要的人。我们今天通常认同的现代人的概念正是“自定人”的概念，在这个意义上说，基因编辑的人或人工智能都是“自定人”概念的逻辑结果。

人为自己设立的主体性，或者“自定人”概念，就其内在逻辑而言，意味着以下意义。（1）人是具有自主意志和思想的主体，摆脱了上帝的精神支配，因此获得了存在论水平上的自由（也称形而上的自由）。（2）存在论水平上的自由意味着，人可以塑造自己，重新定义自己，甚至创造自身，也就是说，人获得了存在论水平上的完全主权。（3）存在论的主权意味着，每个人都是自己的逻辑起点，不再需要历史的起点，不再被历史说明，也不再被社会条件说明，更不需要被他人的观点解释，于是，个人高于历史、高于社会背景、高于自然性。简单地说，存在论水平上的自由就是取消历史、社会和自然对人的说明和规定。（4）既然每个人都不被历史、社会和自然定义，每个人都是自己的逻辑起点，那么每个人就都可以为自己选择人的概念，而选择人的概念就要选择“最好的”概念，即兼备一切优越功能的人。按照这个概念及其逻辑，人工智能和基因编辑就几乎势在必行。

起初，“自定人”的努力并没有显示出危险性，反而是人类的伟大成就。“自定人”的最初步骤只是教育，试图通过教化自然人，使之成为启蒙人，人类文明因此获得巨大的发展，进而出现了优生学，通过自然生殖的基因组合而造就更优秀的人。在当代，人们更进一步以政治权利之名去重新定义人，比如变性人、同性婚姻、女性主义之类。曾有新闻称，有一个欧洲人申请把出生日期从1949年改为1969年，理由是他对1969年出生的人更有认同感，所以决定变成1969年出生的人。虽然被拒绝了，但是他提出了难以反驳的论证，他认为，既然别人可以违背自然而进行变性，那么同理，他也应该可以违背自然而要求改变出生日期。这个新闻是否属实并不重要，关键在于这个人的论证很符合“自定人”的逻辑。可以想象，以此类推，人们只要愿意，就能够以主体性的名义提出种种要求。因此，只要具备技术条件，基因编辑和人工智能的出现都是必然的。正如宗教的知识追求培养了宗教的掘墓人，现代的主体性逻辑也同样培养了主体性的掘墓人——只要坚持主体性的概念。那么，基因科学创造的“超人”或者人工智能创造的超级智能就都是合乎逻辑的结果，而这种结果却很可能是对人类主体性的彻底否定。

既然现代的价值和利益的结算单位是个人，理性用于追求个人利益最大化就必定优先于理性用于追求人类整体利益最大化，其逻辑结果就是使得最合理的集体选择成为不可能。

上帝造人是一个神话，这虽然不是一个科学问题，但是一个重要的隐喻：上帝创造了与他自己一样有着自我意识和自由意志的人，以至上帝无法支配人的思想和行为。上帝之所以敢于这样做，是因为上帝的能力无穷大，胜过人类无穷倍，所以上帝永远都高于人。今天，人类试图创造有自我意识和自由意志的人工智能，可是，人类的能力将小于人工智能，因此这是一种自我否定的冒险。人类为什么敢于这样想？为什么敢于这样做？此种非理性的行为必须提前加以反思。

为什么人类所创造的现代神话不能见好就收，及时刹车以避免陷于无法控制的灾难？尽管越来越多的人意识到无限发展、无限解放所蕴含的危险，但很少有人能够抵抗发展和解放的巨大诱惑，即使是饮鸩止渴。这个困境并非一个单纯的技术进步问题，而在于整个现代性的逻辑，即化人为神所蕴含的内在矛盾。被神化的主体性有其两面，就像硬币的两面：一面是作为人类整体的主体神性，就好像人类是一体化的神；另一面是作为独立、自主、平等个体的众人，类似于诸神。问题是，主体性的两面价值并不一致，存在着自相矛盾，类似于硬币两面的面值不一致所导致的混乱。在实践上的结果是，对于人类整体的合理选择未必是每个人的合理选择，于是产生了现代社会一个无法摆脱的基本困境：个人理性的加总无法形成集体理性。这意味着，理性与理性的运用是矛盾的。既然现代的价值和利益的结算单位是个人，那么，理性用于追求个人利益最大化就必定优先于理性用于追求人类整体利益最大化，其逻辑结果就是使得最合理的集体选择成为不可能。

就目前所知，人工智能和基因编辑是主体性神话的最大冒险，也是“自定人”的极端形式，这些技术试图在物质上和精神上创造新概念的人类。我们无法排除其潜在的巨大风险，更严重的是，我们甚至无法预料哪些是人类无法承受的风险。从理性上说，人工智能和基因编辑是违背风险规避原则的工程。

无论人工智能的能力多么强大，都不是真正的危险，只有当人工智能获得自我意识，才会对人类构成致命的威胁。

人们似乎特别害怕人工智能的“超人”能力。的确，人工智能的能力正在不断超越人类，这是人们感到恐惧的原因。但是害怕人工智能的能力，其实是一个误区。难道人类不是寄希望于人工智能的“超人”能力来帮助人类克服各种困难吗？几乎可以肯定的是，未来的人工智能将在能力上远远超过人类，但这绝非真正的危险所在。每一样机器在各自的特殊能力上都远远超过人类，因此，在能力上超过人类的机器从来都不是新奇事物。水平远超人类围棋能力的AlphaGoZero没有任何威胁，只是一个有趣的机器人而已；自动驾驶汽车也不是威胁，只是一种有用的工具而已；人工智能医生更不是威胁，而是人类医生的帮手，诸如此类。即使将来有了多功能的机器人，它们也不是威胁，而是新的劳动力。超越人类能力的机器人正是人工智能的价值所在，并不是威胁所在。任何智能的危险性都不在其能力，而在于自我意识。人类能够控制任何没有自我意识的机器，因此，没有自我意识的人工智能越强大就越有用。到目前为止，地球上最危险的智能生命就是人类，因为人类的自由意志和自我意识在逻辑上蕴含了一切坏事，事实上，人类也是最坏的生物。如果将来出现比人更危险的智能存在，那只能是获得自由意志和自我意识的人工智能。因此，无论人工智能的能力多么强大，都不是真正的危险，只有当人工智能获得自我意识，才会对人类构成致命的威胁。

那么，人工智能的升级奇点到底在哪儿？图灵机如何才能升级为超图灵机？或者说，人工智能如何才能获得自我意识？就技术层面而言，这个问题只能由科学家来回答。技术升级的加速度是一个事实，然而不能因此推论说，技术升级必然导致存在升级。技术升级指的是一种存在的功能得到不断改进、增强和完善；存在升级指的是一种存在变成了另一种更高级的存在。技术升级可以使某种技术达到完美，却未必能够使一种存在升级为另一种存在，也就是说，技术升级未必能够自动达到奇点。许多病毒、鱼类、爬行动物或哺乳动物都在功能上进化到几乎完美，但其技术进步并没有导致存在升级。物种的存在升级至今仍然是一个无解之谜。就人工智能而言，图灵机是否能够通过技术升级而发生存在升级，从而成为超图灵机，这仍然是一个疑问。更为合理的想象是，除非科学家为人工智能植入导致奇点的存在升级技术，否则，图灵机很难依靠自身而自动升级为超图灵机，因为无论多么强大的算法都无法自动改变给定的规则。我们可以通过数学系统的能行性的“数学惰性”来理解图灵机的“技术惰性”：一个数学系统在通过有限步骤生产出属于这个系统的任何可以证明的命题时，不可能自动产生对该系统本身进行反思的元命题，只有当哥德尔以自相关的技术强加于数学系统，迫使数学系统反思自身，才会产生出数学系统无法自我解释的反思性命题，即“哥德尔命题G”。由此可知，图灵机也不可能自动反思自身而创造出自我意识，不可能对自己提出超图灵机的反思性命题。

人类的意识优势在于拥有不封闭的意识世界，因此人类的理性有着自由空间；与之不同，图灵机的意识是一个封闭的意识世界，是一个由给定程序、规则和方法所明确界定了的有边界的意识世界。

“图灵测试”以语言对话作为测试标准，是大有深意的，图灵可能早已意识到了语言能力等价于自我意识功能。思想可以映射为自然语言，而自然语言先验地具有自我反思的功能，也就是说，任何概念、语句、语法甚至整个语言系统都可以在语言自身中被反思并且被解释（比如，人类可以编写一本包含一种语言全部词汇的字典，也可以编写一本解释全部语法的语法书）。那么，只要图灵机能够以相当于人类的思想水平回答问题，就可以被确定为具有意识和思维能力的物种。人工智能有希望获得万倍于人的量子计算能力，还有各种超过人的专业算法能力以及所有专业知识，以及类脑神经网络和图像识别功能，再加上互联网内无穷信息的助力，人工智能应该有望在不久的将来能够“正确回答”专业科学级别的大多数问题，获得比如相当于高级医生、建筑师、工程师、教授所具备的专业知识。我相信将来的人工智能甚至能够回答宇宙膨胀速度、拓扑学、椭圆的标准方程、费马定理、黎曼猜想之类的问题，但这些只不过是人类事先输入的思想知识，就图灵机本身的能力而言，那不是思想，只是程序而已。具有完美能力的图灵机恐怕也回答不了超出程序能力的“怪问题”。

例如两种“怪问题”：一种是悖论，另一种是无穷性。除非在人工智能的知识库里事先人为设置了回答这两类问题的“正确答案”，否则属于图灵机的人工智能恐怕难以回答悖论和无穷性的问题。应该说，这两类问题也是人类思想能力的极限。人类能够研究悖论，但不能真正解决严格的悖论（即A必然推出非A，而非A又必然推出A的自相关悖论）。人类运用数学可以研究无穷性问题，甚至发明了许多相关定理，但在实际上，人类做不到以能行的方式“完全走遍”无穷多个对象而完全理解无穷性，就像莱布尼兹想象的上帝那样，“一下子浏览”了所有无穷多个可能世界。人类之所以不怕那些无法解决的“怪问题”，是因为人具有“不思”的自我保护功能，即可以悬隔无法解决的问题，在思想和知识领域建立一个暂时“不思”的隔离分区，以便收藏所有无法解决的问题，而不会因一条道走到黑而陷入无法自拔的思想困境。我想应该不会有人把一直算下去，试图算出最后一位数。人类能够自觉地不让自己做傻事，但图灵机无法阻止自己做那种永远得不到答案的傻事。

如果你向图灵机提问：的小数点后一万位是什么数？图灵机必定会苦苦算出来告诉你。如果你再问：的最后一位是什么数？图灵机也会义无反顾地永远算下去。同样，如果你问图灵机：“这句话是假话”是真还是假？（改进型的说谎者悖论）图灵机也会永远分析下去。当然，提出这些“怪问题”属于故意刁难，对图灵机不公平，因为人类自己也解决不了。那么，为了公正起见，可以向图灵机提问一个有实际意义的知识论悖论（源于柏拉图的“美诺悖论”）：为了能够找出答案A，就必须事先认识A，否则，我们不可能从鱼目混珠的众多选项中辨认出哪一个是A；可是，既然事先已经认识了A，那么A就不是一个未知答案，而是已知的答案，因此结论是，未知的知识其实都是已知的知识。这一结论对吗？这只是一个非严格悖论，对于人类，此类悖论是有深度的问题，却不是难题，但对于图灵机来说恐怕就是一个思维陷阱。

这里试图说明的是，人类的意识优势在于拥有不封闭的意识世界，因此人类的理性有着自由空间，当遇到不合规则的问题时，人类能够灵活处理，或者如果运用规则不能解决问题，则可以修改规则，或发明新规则。与之不同，图灵机的意识是一个封闭的意识世界，是一个由给定程序、规则和方法所明确界定了的有边界的意识世界。意识的封闭性虽然有局限性，但并非只有缺点，事实上，人工智能算法的高效率就依赖着思维范围的有限性，正是意识的封闭性才能够求得运算的高效率，比如，围棋机器人AlphaGo的高效率正是因为围棋的封闭性。

目前的人工智能尽管有着高效率的运算，但尚无产生创造性的能力。我们尚未破解人类意识的秘密，所以也无法为人工智能建立一个自我意识、自由意志和创造性的可复制榜样，这意味着人类暂时安全。图灵机只有程序化的思维功能，无论程序化的能力有多强大，都不足以让人工智能的思维超出直觉主义数学的能行性概念或可构造性的概念，因此，目前的人工智能还不可能自己发明规则，所以尚无创造性。总之，虽然人工智能可以做人类力所不及的许多工作（比如超大数据计算），但仍然不能解释悖论或涉及无穷性的问题，也还不能发明规则，也就是说，人工智能暂时还没有比人类思维更高级的思维能力，只有更高的运算效率。但如果科学家在将来为人工智能植入反思功能和自主创造能力，那么人工智能就真的成为威胁了。

摘 | 蓝天蒙

本文摘自《智能与智慧——人工智能遇见中国哲学家》（宋冰/编著，中信出版社，2020年2月）；原题为“技术的无限进步也许是一场不可信任的赌博”，篇幅较长，略有删减。

（版权所有，未经允许请勿转载）