AI 会抢走所有人类的工作并终结人类历史吗？这是个复杂的问题…… Wolfram 说

仅仅在几个月前，似乎只有人类才能写一篇原创的文章。但 ChatGPT 出现后，情况发生了变化。我们突然意识到，AI 也能够写出类似人类的文章。现在，我们自然会想：AI 能够做到什么？而我们人类又将如何适应？

我的目标是探讨一些科学、技术和哲学问题，我们能从AI中期待些什么。我必须提前声明的是，这是一个在智力上和实践上都很难讨论的话题。在我这里所做的一切都只是我的目前思考的简单概述，但必然是不完整的，这主要是因为，尝试预测这一领域的历史如何发展，会直接遇到一些基本科学的问题：计算不可约性。

让我们从最近出现的那个令人瞩目的 AI 例子 ChatGPT 谈起。那 ChatGPT 是什么呢？本质上，它是一个用于生成文本的计算系统，它被设置成遵循从数十亿个网页、数百万本书等中定义的模式。给它一个文本提示，它就会以在某种程度上以符合人类写作风格的方式继续下去。

产生的结果（最终依赖于各种具体的工程）非常“像人类”。而这一产品的奥秘是，每当 ChatGPT 需要“推断”它没有从人类那里明确看到的内容时，它会以一种似乎是我们人类可能会用的方式进行推断。

ChatGPT 内部实际上是一种计算方法，也许与大脑非常相似，其中有数百万个简单元素（“神经元”）形成了一个具有数十亿连接的“神经网络”，这些连接已经通过一种逐步的训练过程进行了“调整”，直到它们成功复 制了所有这些网页上人类书写文本的模式等。即使没有经过训练，神经网络仍然可以产生某些文本。但关键是，这些文本并不会是我们人类认为有意义的文本。要获得有意义的文本，我们需要依赖于所有这些网页和其他我们人类写过的材料所定义的“人类语境”。那种“原始的计算系统”只会进行“原始计算”，要获得与我们人类一致的东西需要利用所有网页等内容中记录的详细人类历史。

那么最终我们得到了什么？文本基本上读起来就像是一个人写的。过去，我们可能认为人类语言是一种独特的人类产物。但现在我们也有了一种AI来完成这项工作。那么，我们人类还剩下什么？人类一定还会以某种方式参与其中：在文本的情况下，必须有一个指定让AI“朝着什么方向走”的提示。即给定一个明确的“目标”，AI可以自动地朝着实现目标的方向工作。但最终，需要一些超越AI原始计算系统的东西，来定义我们人类认为有意义的目标，而这正是我们人类的用武之地。

这在实际的日常生活中意味着什么？通常我们通过文字来告诉 ChatGPT 我们大致想要什么。然后，它会填写一个整篇的文章来谈论它。我们可以认为这种交互对应于一种“语言用户界面”（我们可以称之为“LUI”）。在图形用户界面（ GUI ）中，有一个核心内容通过一些潜在的精细图形表示来呈现（和输入）。在 ChatGPT 提供的 LUI 中，相反，核心内容是通过文本（“语言”）呈现（和输入）的。

你可以记录下几个“要点”。在它们的原始形式中，其他人可能难以理解它们。但是通过 ChatGPT 提供的 LUI，这些要点可以被转化成一个可以被普遍理解的“文章”——因为它基于 ChatGPT 在亿万个训练过的网页等中看到的“共享上下文”定义。

这里有些让人很没有安全感的事情。过去，如果你看到一篇的文章，你就可以合理地得出结论，这篇文章需要花费一定的不可简化的人类努力。但是有了 ChatGPT，这一结论已经不再成立了。将事物转化为文章现在是“免费”和自动化的。“文章”不再能证明人类的努力。

当然，这并不是第一次出现这种情况。例如，当我还是个孩子的时候，看到一个文档被排版，基本上是证明有人花了很大的精力在印刷机上印刷它。但是后来出现了桌面出版，显然任何文档都可以免费地进行精细排版。

在更长的历史视角中，这种情况基本上是一个不断的趋势：曾经需要人类努力完成的东西最终变成了自动化和通过技术“免费完成”的事情。这在思想领域中有一个直接的类比：随着时间的推移，越来越高级别的抽象水平被开发出来，这些水平消除了以前的繁琐细节和具体问题。

这个过程会结束吗？我们最终会自动化一切吗？发现一切？发明一切？在某个层面上，我们现在知道答案是毫无疑问的：不会。因为计算不可约性现象的一个后果是，总会有更多的计算要做，它们不能被有限数量的自动化、发现或发明减少。

然而，最终的结果将是一个更加微妙的故事。因为虽然可能总会有更多的计算需要完成，但我们作为人类可能并不关心它们。有可能一切我们关心的东西都可以成功地被自动化实现——比如由 AI 来实现——那么我们就“没有更多事可做了”。

我们如何适应 AI 未来，这是一个亟待解决的问题。在接下来的内容中，我们将一遍又一遍地看到，最初本质上似乎是技术上的实际问题，但很快就被卷入了科学和哲学的深刻问题中。

我已经多次提到了计算不可约性。事实证明，这是我认为对于思考 AI 未来至关重要的一系列相当深刻的想法中的一部分。

我们现有的关于“机械”和“自动化”的大部分直觉都来自于一种“发条”的工程观点——我们专门组件化地构建系统，以实现我们想要的目标。大部分软件也是如此：我们逐行编写代码，以明确地做出我们想要的一步一步的事情。如果我们希望机器或软件能做复杂的事情，那么我们期望机器或软件的基础结构必须因此变得更加复杂。

因此，当我在 80 年代初开始探索整个计算宇宙的可能的程序时，发现事情在那里的运作方式非常不同，这是一个大惊喜。事实上，即使是小的程序——事实上只是重复应用非常简单的规则——也可以产生巨大的复杂性。在我们通常的工程实践中，我们没有看到这一点，因为我们总是专门选择程序（或其他结构），以便我们能够轻松地预测它们的行为，以便我们可以明确地设置它们做我们想要的事情。但在计算宇宙中，很常看到程序“本身生成”巨大的复杂性，而无需我们明确“放入”的东西。

有了这个发现，我们意识到实际上有一个一直存在的例子：自然界。实际上，似乎自然界用来展示其复杂性的“秘密”正是按照简单程序的规则操作。(大约三个世纪以来，数学方程式似乎是描述自然界的终极方式——但在过去的几十年中，特别是在我们最近的物理学项目中，越来越清楚的是，简单的程序通常是一个更强大的方法。）

这与技术有何关系呢？技术是关于利用世界上存在的东西，为人类的目的而服务。这里有一个根本性的折衷。可能有一些自然界中的系统做了非常复杂事情。但问题是，我们能否“削减”某些我们人类碰巧觉得有用的特定事物。驴身体内有各种复杂的事情发生。但在某个时候，人们发现，我们可以“技术上”利用它来做推车这种相当简单的事情。

当涉及到计算宇宙中的程序时，我们常常能见到一些可以完成复杂得惊人的任务的程序。但是问题是，我们是否可以找到它们中的某些对我们有用的方面。也许这个程序很擅长制造伪随机性；或分布式决定共识；或者它只是在做自己的复杂任务，我们还不知道任何“人类目的”能够实现这个任务。

像 ChatGPT 这样的系统值得注意的一个特点是，它不是以传统的“了解每一步”的工程方式构造的。相反，基本上只是从一个“原始计算系统”（在 ChatGPT 的情况下，是一个神经网络）开始，然后逐步调整它，直到它的行为与我们拥有的“与人类相关”的示例相一致。这种一致性使得系统对我们人类来说具有“技术上的用途”。

但在底层，它仍然是一个计算系统，具有所有潜在的“野蛮性”。而且，在不受“人类相关一致性”的“技术目标”的约束下，系统可能会执行各种复杂的任务。但它们可能不是我们关心的事情（至少在历史上的这个时期）。尽管某些假设的外星人（或未来的我们自己）可能会关心。

好了，但让我们回到“原始计算”这一方面。计算与我们以前见过的所有其他“机制”非常不同。我们可能有一个能向前移动的推车。我们可能会有一个订书机，可以把订书钉钉在东西上。但是车和订书机的功能非常不同；它们之间没有等价性。但是对于计算系统（至少是那些不总是以明显简单的方式表现的系统），计算等价原理意味着，所有这些系统，在它们可以完成的哪种计算方面，具有意义上的等价性。

这种等价性具有许多后果。其中之一是，人们可以期望从各种不同的事物中得出同样复杂的计算结果——无论是脑组织、电子设备，还是自然界中的某些系统。这就是计算不可约性的来源。

有人可能认为，例如，在基于简单程序的某个计算系统中，我们（借助我们的复杂大脑、数学、计算机等）总是有可能“超前一步”，在系统走完所有步骤之前就弄清楚它会做什么。但是，计算等价原理意味着，这通常是不可能的——因为该系统本身可以像我们的大脑、数学、计算机等一样具有计算复杂性。因此，这意味着该系统在计算上是不可约的：找出它在做什么，唯一的方法就是实际上去完成整个计算过程。

有一种普遍的印象是，科学最终总能做得比这更好：它将能够作出“预测”，让我们在不必跟踪每一步的情况下知道将会发生什么。确实，在过去的三个世纪里，在主要使用数学方程的情况下，成功实现了这一点。但最终事实证明，这只是可能，因为科学最终集中在这些方法起作用的特定系统上（然后这些系统被用于工程）。但是现实是，许多系统显示出计算不可约性。而在计算不可约性的现象中，科学实际上是“推导出了自己的局限性”。

与传统直觉相反，无论我们如何努力，在许多系统中，我们都将永远无法找到描述系统即将发生的事情的“公式”（或其他“捷径”）——因为系统在计算上是不可约的。是的，这代表了对科学和一般知识的限制。虽然一开始这似乎是一件坏事，但从根本上来说，这也是一件令人满意的事情。因为如果一切都是可计算可约的，我们总是可以“跳到前面去”揭晓即将发生什么，比如在我们的生活中。但是计算不可约性意味着一般来说我们不能这样做——所以在某种意义上，随着时间的推移，“某些不可约的东西正在被实现”。

计算不可约性有很多后果。我最近特别探索了一些基础科学领域，例如，建立核心物理定律，因为我们从计算不可约性和我们作为观察者的计算局限性的相互作用中感知它们。但计算不可约性也是思考 AI未来的核心——事实上，我越来越觉得它增加了一个最重要的智力元素，需要它来理解关于AI和人类在未来的潜在角色的许多最重要的问题。

例如，从我们传统的工程经验来看，我们习惯于这样的想法：要找出为什么某事以特定的方式发生，我们只需“深入”一台机器或程序内部，然后“看看它做了什么”。但当存在计算不可约性时，这就行不通了。是的，我们可以“看看里面”，比如说，看看几步。但计算不可约性意味着，我们必须追踪所有的步骤才能知晓发生了什么，而不能指望找到一个“简单的人类叙事”来“说明为什么事情发生了”。

然而，计算不可约性的一个特征是，在任何计算不可约的系统中，总是存在（最终，无限多个）“计算可约性的区域”。例如，即使一般而言我们不能说出会发生什么，也总是能够识别出那些可被预测的具体特征。（如“最左边的单元格将始终是黑色的”，等等）正如我们稍后将讨论的那样，我们可以潜在地认为技术（以及科学）进步与这些“计算可约性区域”的发现密切相关。事实上，无限多这样的区域的存在正是“总会有发明和发现”的原因。

计算不可约性的另一个影响是关于试图对和系统行为相关的事情做出保证。例如，假设一个人要设置一个AI系统，使其“永远不会做出坏事”。有人可能会想，可以设计出特定的规则来确保这一点。但是，一旦系统（或其环境）的行为在计算上是不可约的，就将永远无法保证系统中会发生什么。是的，也许有特定的计算可约的特征是确定的。但是总的来说，计算不可约性意味着始终存在“惊喜的可能性”或“意外后果的潜在可能性”。系统地避免这一点的唯一方法是使系统不具备计算不可约的性质——这意味着它无法充分利用计算的全部功能。

我们人类喜欢感觉自己很特别，喜欢觉得自己有“本质上独特”的某些东西。500 年前我们以为地球是宇宙的中心。而现在我们觉得我们的智力能力在某些方面是独特且是无可超越的。但是，AI 的发展以及类似 ChatGPT 这样的事情不断为我们提供越来越多的证据表明，这不是事实。实际上，我的“计算等价原则”表明了更极端的论点：在基本计算层面上，我们本质上没有任何特别的东西——事实上，在计算方面，我们与自然中许多系统甚至是简单程序基本上是等价的。

这种广泛等价性在能够提出非常一般的科学命题（例如计算不可约性的存在）方面非常重要。但它也突显了我们这个物种有多么独特——我们独特的历史、生物特征等。就像 ChatGPT 一样。我们可以有一个与 ChatGPT 结构相同的通用 (未经训练的) 神经网络，可以进行某些“原始计算”。但是真正让 ChatGPT 变得有趣的地方，至少对我们而言，是可以用亿万个网页上描述的“人类独特性”来训练它。换句话说，并不存在所谓计算上的“普遍特殊性”，无论是对于我们还是 ChatGPT 。但确实存在某些“特定特殊性”，那就是我们经历过的特定历史、我们文明积累的特定知识等等。

这里存在着一个有趣的类比，与我们在宇宙中的物理位置相呼应。宇宙存在某种统一性，意味着我们在物理位置上没有任何“普遍特殊性”。但至少对于我们来说，还是有一些“特定特殊性”的，因为只有这里才有我们的独一无二的星球在更深层次上，基于我们的物理项目的想法导致了 ruliad 的概念，这是所有可能的计算过程的纠缠上限的唯一对象。然后，我们可以将整个作为“宇宙观察者”的经验视为在特定位置对 ruliad 进行采样。

这有些抽象（还有一个较长的故事，我不会在这里详细解释），但我们可以认为不同的可能观察者在物理空间中处于不同的位置，在 rulial 空间中也处于不同的位置——这使得它们对宇宙中发生的事情有不同的“观点”。人类的思维效果集中在物理空间的特定区域（大都在这个星球上），以及 rulial 空间的特定区域。在 rulial 空间中，不同的人类思维——由于不同的经验和思考宇宙的不同方式——处于稍微不同的位置。动物思维在 rulial 空间中可能相对接近。但其他计算系统（例如有时被称为“有自己的头脑”的天气）则更远——如假设的外星人可能也会这样。

那么AI呢？这取决于我们对“AI”的定义。如果我们谈论计算系统，它们被设置为做“类似人类的事情”，那意味着它们在 rulial 空间中与我们接近。但因为“AI”是任意的计算系统，所以它可以处于 rulial 空间中的任何位置，可以执行任何计算上可能的事情——这比我们人类能做的，甚至能想到的还要广泛（正如我们后面将讨论的那样，随着我们的思考方式和观察事物的方式的扩展，我们人类所操作的 rulial 空间的区域将相应扩大）。

但是我们人类（和后来的 AI ）进行的计算有多“一般”？我们对大脑的了解还不够确定。但如果我们看看人工神经网络系统——比如 ChatGPT——我们可能会得到一些感觉。实际上，这些计算似乎并不那么“一般”。在大多数神经网络系统中，输入的数据只需“在系统中波动一次”即可产生输出。这不像计算系统（如图灵机）中可以进行任意的“数据循环”。事实上，如果没有这种“任意的循环”，计算必然是相当“浅”的，最终不能显示计算的不可约性。

这是一个技术层面的观点，但我们可以问， ChatGPT 是否可以通过“反馈到迄今为止生成的文本”来实现任意（“通用”）计算。我怀疑在某种形式上可以（或者至少可以类比之），尽管这会产生一个极其冗长的文本，例如实际上列出了图灵机纸带的连续（自我界定）状态，并且在其中找到“答案”可能需要一些努力。但是，正如我在其他地方讨论的那样，在实践中，ChatGPT 可能几乎完全在做“相当浅的”计算。

这是实用计算历史上一个有趣的特征：在“深度纯计算”方面（比如数学或科学）进行了几十年之后，“浅层类人计算”才变得可行。其基本原因是因为对于“类人计算”（如识别图像或生成文本），需要捕捉大量“人类语境”，这需要拥有大量的“人工生成数据”和存储和处理它的计算资源。

另外，脑子似乎也专门从事基本的浅层计算。要做更深层次的计算，以便利用计算宇宙中更多的东西，就必须转向计算机。正如我们所讨论的，计算宇宙中有大量的，我们人类（现在还）不关心的内容：我们只认为它是“原始计算”，似乎没有“实现人类目的”的。但实际上，在我们人类关心和思考的事物与计算宇宙中的可能性之间建立起桥梁是很重要的。在某种程度上，这是我在 Wolfram 语言中投入了如此多的精力的项目的核心之一，创建一个全尺度的计算语言，以计算术语描述我们在世界中思考和经历的事物。

好吧，多年来人们一直在说：“计算机可以执行 A 和 B，但只有人类才能执行 X”。关于 X 的含义随时间而变化——并变得更加狭窄——而 ChatGPT 为我们提供了一个重大意外的新例子，说明计算机可以做更多的事情。

那还剩下什么呢？有些人可能会说：“计算机永远无法展示出创造力或原创性”。然而，这似乎出乎意料地很容易实现，实际上只需要一点随机性的“种子”即可完成大部分工作，正如多年前我们所看到的 WolframTones 音乐生成系统，以及今天我们在 ChatGPT 写作中所见到的。人们可能还会说：“计算机永远无法展示出情感。”但在我们找到一种良好的生成人类语言的方法之前，我们实际上就无法分辨计算机能否展示出情感。现在，我们已经可以要求 ChatGPT 写出“快乐地”，“悲伤地”等来表达情感了。（在人类和其他动物中，情感原本与神经递质浓度等相对简单的“全局变量”有关）。

在过去，人们可能会说：“计算机永远无法展示判断力”。但现在，我们已经有了无数的机器学习系统示例，这些系统在许多领域都能成功地复 制人类判断力。人们可能还会说：“计算机不具备常识。”通常情况下，这意味着在特定情况下，计算机可能会局部给出一个答案，但存在全局原因使得该答案毫无意义，计算机“察觉不到”，但是人会察觉。

那么 ChatGPT 在这方面表现如何呢？表现还不错。在大多数情况下，它可以正确地识别出“这不是我以前通常读到的内容”。但是，它还是会出错。其中一些问题与它不能通过它的神经网络来进行稍微“更深”的计算有关（是的，这有时可以通过调用 Wolfram|Alpha 工具来解决）。但在其他情况下，问题似乎是它不能够很好地连接不同的领域。

它完全可以处理简单的（“SAT 风格”）类比。但是当涉及到大规模的类比时，它就做不到了。我猜，它不需要太多扩展就能够开始制作出看起来非常令人印象深刻的类比（这甚至是我们大多数人类也无法做到的）——这时它就可能会成功展示出更广泛的“常识”。

但是，还有什么事情是人类可以做而 AI 无法做到的吗？按照定义，有一个根本的事情：定义我们认为应该做的目标。我们稍后会再谈到这个问题。但目前我们可以指出，任何计算系统一旦“启动”，就会按照其规则进行操作。但是“应该指向哪个方向”？这必须来自“系统外部”。

那么对于人类来说，它是怎么运作的呢？嗯，我们的目标实际上是由我们所在的整个历史网——无论是从生物进化还是从文化发展中——定义的。但是最终，真正参与到历史网络中的唯一方式就是成为其中的一部分。

当然，我们可以想象，在技术上仿真大脑的每个“相关”方面——事实上，像 ChatGPT 这样的成功例子可能表明这比我们想象的要容易得多。但这还不够。要参与“人类历史网”（正如我们稍后将讨论的那样），我们将不得不仿真“人类”的其他方面，比如移动，有限寿命等。如果我们制造出一个“人造人类”，我们可以预期它（按定义）将展示出我们人类所有的特征。

但是，如果我们仍然用“在计算机上运行”或“纯数字化”等方式来谈论 AI，则至少在我们看来，它们仍将“从外部获得他们的目标”。总有一天（我们一会将讨论），会毫无疑问出现某种“ AI 文明”——它将形成自己独特的历史网络。但此时我们没有理由认为我们仍然能够根据自己认识到的目标来描述正在发生的事情。实际上，AI 在那时将离开我们的 rulial 空间。并且——正如我们所讨论的——它们将更像自然界中的系统，我们可以知道那里正在进行计算，但我们无法用人类的目标和目的来描述它，除非使用相当人类化的方式。

几个世纪以来，伴随着自动化技术（包括现在的 AI ）的发展，有个问题一直被问起：人类最终会没有工作可以做吗？只是在不同时期，问题的紧急程度有所不同。在我们这个物种的早期，人们必须辛苦地狩猎和采集来维持生计。现在，至少在发达的地区，这样的工作最多只是一个遥远的历史记忆。

然而，在历史的每个阶段，至少到目前为止，总会有其他类型的工作使人们忙碌。但是有一种模式越来越频繁地重复出现。技术以某种方式使某种新的职业得以出现。最终，这种职业变得普遍起来，并有很多人从事。但是，随着技术的进步，职业得到自动化，人们不再需要从事这项工作。但现在有了一种新的技术水平，可以启用新的职业。循环继续。

一百年前，电话越来越普及意味着越来越多的人成为电话交换台操作员。但是，电话交换被自动化了，这些话务员就不再需要了。但是，有了自动交换，可以巨大地发展电信基础设施，开辟各种新类型的工作，这些工作总数远远超过曾经的交换台操作员。

类似的事情也发生在会计事务员身上。在有计算机之前，需要让人们费力地计算数字。但是有了计算机，这些都被自动化了。但是自动化带来了更复杂的金融计算能力，使得更加复杂的金融交易、更加复杂的监管等变得可能，反过来又带来了各种新类型的工作。

在各行各业，情况都是这样的。自动化淘汰了一些工作，但也催生了其他工作。往往存在一个时间差，和所需技能的转变。但是，至少到目前为止，似乎总是有许多工作被创造出来，并且还没有被自动化。

这种情况会在某个时候结束吗？会有一天我们人类想要的所有东西（或者至少需要的东西）都得到自动交付吗？当然，这取决于我们想要什么，以及，比如说，我们想要的东西是否随着技术进步也发生进步。但是我们可以做出“足够就好”的决定吗？就此打住，让一切都自动化运行？

我认为不行。最终的原因是计算不可约性。我们试图让世界变得“就这样了”，例如设置使我们“可预测的舒适”的情况。好了，问题在于这些事情的发展不可避免地存在计算不可约性——不仅是在自然界，而且在社会动力学中也是如此。这意味着事情不会保持“就这样了”。总会发生一些不可预测的事情，自动化不能解决。

起初，我们人类可能会说“我们不关心这个”。但是随着时间的推移，计算不可约性将影响所有事物。所以，如果有任何我们关心的事情（包括不灭绝），我们最终将不得不采取行动，并超越任何已经设置的自动化。

很容易找到实际的例子。我们可能认为，当计算机和人类都在一个无缝的自动化网络中连接在一起时，就不会再有任何要做的事情了。但是，计算机安全问题的“意外后果”怎么办？可能在过去似乎是“技术解决问题”，但现在为人类创造了一种新的工作。在某种程度上，计算不可约性意味着这样的事情总是会发生。总是存在一个“前沿”。至少，如果有任何我们想保护的东西（如不灭绝）时，就会如此。

回到现在的 AI 情况。ChatGPT 只是自动化了许多与文本有关的任务。以前，定制报告、信件等需要大量的努力和人力，但是（至少在处理不需要 100％“正确性”的情况下），ChatGPT 刚刚自动化了很多工作，因此人们不再被需要了。但这意味着什么？这意味着可以生产更多的定制报告、信件等。这将带来新的职业——管理、分析、验证所有大量定制文本等。更不用说提示工程师（prompt engineer）（这是几个月前还不存在的工作类别），以及类似 AI 善后员，AI 心理学家等等。

但是，让我们谈谈当今尚未被“自动化掉”的工作的“前沿”。有一类在很多方面看起来仍然令人惊讶的工作：涉及大量机械操作的工作，例如建筑、填充、食品制备等。但是还缺少一种技术：还没有好的通用机器人（就像通用计算一样），我们人类在灵巧性，机械适应性等方面仍然占据优势。但我很确定，必要的技术将在时间上——也许是相当突然地——得到发展（是的，我有关于如何做到这一点的想法）。这意味着大多数今天的“机械操作”工作将被“自动化掉”，不需要人来做。

但是，正如我们的其他例子中那样，这将意味着机械操作变得更加容易和更便宜，可以做更多的事情。房子可能会被例行地建造和拆除。产品可能会被从它们所在的地方拿走并重新分配。更加华丽的“食品构造”可能会成为常态。每一件事情——以及更多——都将开辟新的工作。

但是，世界上存在的每一个“前沿”工作最终都会被自动化吗？那些似乎其价值的很大一部分只是“有一个人在那里”的工作呢？像驾驶飞机这样的工作，你需要飞行员在飞机上的“承诺”。看护者的工作，需要有一个人的“联系”在那儿。销售或教育工作需要“人类说服力”或“人类鼓励”。今天，一个人可能会想：“只有人类才能让人们有那种感觉。”但这通常是基于目前的工作方式。也许会找到不同的方式，允许任务的本质被自动化，同时几乎不可避免地开展新的任务。

例如，过去需要“人类说服力”的事情可能会通过类似游戏化的方式“自动化” ——但是伴随着对于设计、分析、管理等的新需求，更多的事情可以得到“自动化”解决。

我们一直在谈论“工作”。这个术语立即让人想到工资、经济等问题。是的，人们做的大部分事情（至少在今天的世界上）都是由经济问题推动的。但是也有很多事情是不是这样的。有些事情，我们“只是想做”——作为“社交事务”，“娱乐”，“个人满足”等。

我们为什么想做这些事情？一些似乎是由我们的生物性质内在决定的。一些似乎是由我们所处的“文化环境”决定的。为什么人们会在跑步机上跑步？在今天的世界里，一个人可能会解释说这对健康、寿命等有好处。但是在几个世纪之前，没有现代科学的理解，加上对生死意义的不同看法，这个解释就不太可行了。

是什么驱动着我们对“想做的事情”或“应该做的事情”的看法的变化？一些似乎是由“社会动力学”驱动的，大概是由于其自身的计算不可约性。但有些则与我们与世界互动的方式有关 —— 既包括技术进步带来的自动化增加，也包括知识进步带来的抽象增加。

在这里看到了类似“周期”的现象，就像我们考虑“职业”或“工作”类型的事情一样。有一段时间某件事很难做，就作为一个很好的“消遣”。但是然后它变得“太容易了”（“现在每个人都知道如何赢得游戏X”等），某件“更高级别”的东西取代了它。

关于我们“基本”的生物驱动动机，在整个人类历史的进程中似乎没有什么真正改变。但是肯定有一些技术发展会对未来产生影响。例如，有效的人类永生将改变我们动机结构的许多方面。像植入记忆或根据这个理由植入动机等技术也是一样。

现在，我们想做的事情中的一些元素是有我们的生物本性“锚定”的。但是在某种程度上，我们肯定能够用计算机模拟我们的大脑所做的实质性工作（甚至像 ChatGPT 这样的成功项目使得这一时刻比我们想象中更近了）。到那时，我们将有可能拥有“脱离肉体的人类灵魂”。

今天，很难想象一个“脱离肉体的灵魂”的“驱动力”是什么。从“外界”的角度看，我们可能看到“灵魂”在做一些对我们来说“没有意义”的事情。但这就像问一千年前的人对我们今天的许多活动会怎么想一样。这些活动对我们今天有意义，因为我们是嵌入在我们整个“当前框架”中的。但是如果没有那个框架，它们没有意义。因此，“脱离肉体的灵魂”也将如此。对于我们来说，它所做的可能没有意义。但对于它来说，带着它的“当前框架”，它是有意义的。

我们能“学会如何理解它”吗？很可能会有一定的计算不可约性上的障碍：实际上，“了解未来的灵魂”的唯一途径是追踪其过程以达到其所在的位置。因此，从我们今天的角度看，我们在 rulial 空间中相当于有一定的“不可约的距离”。

但是，未来是否会有某种科学，至少能告诉我们这些“灵魂”的一般行为呢？即使存在计算不可约性，我们知道总会有计算可约性的小范围区域 ——因此有一些可预测的行为特征。但是这些特征从我们今天的角度来看是否“有趣”呢？也许其中一些会是有趣的。也许他们会向我们展示一些灵魂的元心理学。但不可避免的是，它们只能走得这么远。因为为了使那些灵魂甚至可以体验时间的流逝，必须存在计算不可约性。如果可预测的东西太多，“什么都能预测”就好像“什么都没发生”——或者至少会让发生的事情变得“无意义”。

是的，这一切都涉及到“自由意志”的问题。即使有一个完全确定性的底层程序，操作着一个脱离肉体的灵魂，计算不可约性仍然意味着其行为仍然可能“自由” —— 因为没有什么可以“超越它”并说出它要做什么。并且，脱离肉体的灵魂的“内在体验”可能是重要的：它正在“内在地定义自己的未来”，而不仅仅是被动接受“为它定义好的未来”。

也许有人会认为，一旦一切都只是“可见的操作”作为“纯计算”，这必然是“没有灵魂”和“无意义”的。但是计算不可约性是打破这种障碍的因素，它允许存在不可约和“有意义”的内容。并且，不管是在物理宇宙中的现在、还是在未来的“脱离实体”的计算存在中，都是同样的现象。换句话说，即使所有事情——即使是我们的存在——都已经被“计算自动化”，也并不意味着我们不能拥有有意义存在的完美“内在体验”。

如果我们看人类历史，或者地球上的生命史，总会有某种普遍的感觉，即有一种“进步”正在发生。但这种“进步”本质上是什么？可以将其视为事物在逐渐“更高层次”上完成的过程，使得在给定的努力下可以实现“更重要的事情”。这种“走向更高层次”的想法采取了许多形式，但它们都基本上是忽略底下的细节，并能够纯粹从“人们关心的事物”角度操作。

在技术方面，这表现为自动化，其中过去需要大量详细步骤的事情被打包成可以“按一下按钮”完成的东西。在科学领域和智力领域一般，它表现为抽象，其中过去需要涉及许多具体细节的事情被打包成可以“纯粹地集体讨论”的东西。在生物学中，它表现为某些结构（核糖体、细胞、翅膀等），可以被视为“模块化单元”。

能够“更高层次地完成事情”的可能性是寻找“计算可约性的独立区域”的反映。并且——正如我们之前提到的——事实上（在基础计算不可约减性的情况下），这样的区域必然有无限多，这意味着“进步可以一直持续下去”。

当涉及到人类事务时，我们倾向于高度重视这种进步，因为（至少目前如此）我们有限的生命，因此只有通过“进步”才能实现“想要发生更多事情”。显然，拥有更多的发生是“好的”并非显而易见，可能只是“想要安宁的生活”而已。但是有一个约束条件，在某种程度上起源于生物学的深层基础。

如果某物不存在，则永远不可能“发生于其中”。因此，在生物学中，如果想要对生物体有任何“发生”，那么它们最好不要灭绝。但是，生物有限的生命在有限的物理环境中存在，并且有许多资源是有限的。鉴于生物的生命是有限的，生物进化的过程是必然的，有机体之间对资源的“竞争”也是必然的。

最终会有一个“最终获胜的有机体”吗？好吧，不会有——因为计算不可约性。在某种意义上，计算宇宙中总是有更多东西可以探索——更多“用于可能生物的原始计算材料”。而且，对于任何“适应性标准”（例如-在图灵机模拟中，“停止前活得更长”），总是有一种更好的方法可以“做得更好”。

然而，人们可能仍然会想知道，是否可能，生物进化——其基础的随机遗传突变过程——可能会“被卡住”，永远无法发现一些“改进的方法”。事实上，演化的简单模型可能会使人产生这种想法。但实际的进化看起来更像是具有大型神经网络的深度学习——在那里，实际上是在极高维度的空间中进行操作，在那里通常总有一条“从这里到那里”的道路，至少在给了足够的时间的情况下是这样的。

但是，好吧，在我们对生物进化历史的了解中，存在着某种内在的“争夺有限资源”的感觉。这种争夺的感觉（至少到目前为止）也转移到了人类事务中。实际上，这是大多数经济过程的基本驱动因素。

但是，如果资源不再“稀缺”呢？如果进步——以自动化或 AI 的形式——使得“获得任何想要的东西”变得容易？我们可以想象机器人建造了所有东西，AI 解决了所有问题的局面。但仍然有一些必然稀缺的东西。不动产是有限的，也仅能有一件东西可以拥有“第一件___”的称号。最终，如果我们的生命是有限的，那么我们的时间就只有那么多。

尽管如此，我们所做（或拥有的）的事情越有效率——或者越高级，我们就能在我们拥有的时间内完成更多的事情。而且，似乎我们所感知的“经济价值”与“使事物更高级”密切相关。一个成品手机比它的原材料“价值更高”。一个组织比它的各个独立部分“价值更高”。但是，如果我们能够实现“无限自动化”会发生什么呢？那么在某种意义上，就会有“无处不在的无限经济价值”，并且可能想象将“不再有竞争”。

但是，再次，计算不可约性阻碍了我们。因为它告诉我们，永远不会有“无限自动化”，就像永远不会有哪个生物有机体能赢者通吃一样。在计算宇宙中，总会有“更多的探索”和不同的路径。

在实践中，这会是什么样子？可能会导致各种多样性。例如，关于“经济组成部分”的图表将变得越来越分散；将不会仅仅是“唯一获胜的经济活动是___”。

这种无尽进步的图景中有一个潜在的问题。如果没人在乎呢？如果这些创新和发现对我们人类来说没有意义呢？当然，在历史上的任何时候都有许多我们不关心的东西。我们已经能够挑选出的硅片是什么？它只是一块岩石。嗯，直到我们开始用它制造微处理器。

但正如我们已经讨论过的，一旦我们“在某种抽象的水平上操作”，计算不可约性使得我们最终将接触到“需要超越该水平”的事物。

但很关键的一点是，接下来就要做出选择。在计算宇宙中，将会有不同的探索路径（或“矿藏”），最终将有无限多条路径。而无论是AI或其他什么东西，也无论它们的计算资源是什么，它们永远无法探索所有这些路径。因此，这些东西，抑或是人，将不得不在走哪条路上做出选择。

对于某个特定的事物集 合，在某个特定时间点上，人们可能成功地自动化所有这些事物。但计算内在性意味着总会有一个“前沿”，在那里必须做出选择。而且没有“正确答案”。没有“理论可导出”的结论。相反，如果我们人类参与其中，这里就是我们得以做决定的地方——定义下一步要发生什么。

我们会怎么做呢？嗯，最终基于我们的历史——生物史或文化史等。我们将得到使用所有不可约的计算，这些计算促成了我们到达当前的位置，来定义接下来要做什么。在某种意义上，它将是“通过我们”的东西，并使用了我们的特征。那是即使周围有自动化，我们人类也可以“有意义”做些事情的地方。

假设我们想让一个 AI（或任何计算系统）做某件特定的事情。我们可能认为我们可以设置它的规则（或“编程”）来做这件事。对于某些任务来说，这确实很有效。但是我们越深入使用计算，我们就会遇到计算不可约性，而且我们越不知道如何设置特定的规则来实现我们想要的东西。

当然，还有定义“我们想要”的问题。是的，我们可以有特定的规则说在计算过程的特定点上应该出现什么样的位模式。但这可能与我们通常关心的整体“人类水平”目标没有太大关系。而且确实对于我们可以合理地定义的任何目标，我们最好能够一致地“形成一个想法”（形象地说），或者说我们最好有一些“人类水平叙事”来描述它。

但我们如何表示这样的叙述呢？我们有自然语言——或许是我们物种历史上最重要的创新。自然语言的根本作用是使我们能够以“人类水平”的方式谈论事物。它由我们可以认为是代表“人类水平意义包”的单词组成。因此，例如，“椅子”这个词表示椅子的人类水平概念。它不是指特定的原子排列。相反，它指的是那些我们可以将其有效地合并成单个人类水平概念的任何原子排列，并从中推断出我们可以期望坐在上面等等的事实。

那么，当我们“与 AI 交谈”时，我们能指望仅使用自然语言来表达我们想要的东西吗？我们当然可以走得更远——实际上，ChatGPT 帮助我们比以往任何时候都更进一步。但是，当我们试图使事情更加精确时，我们会遇到麻烦，我们需要的语言会迅速变得越来越华丽，就像复杂法律文件的“法律术语”。那么我们该怎么办呢？如果我们将事情保持在“人类思维”层面上，我们就不能“深入”到所有的计算细节。但是，我们希望确切地定义我们所说的话如何根据这些计算细节实现。

好吧，有一种处理这个问题的方式，我个人投入了许多年的时间进行研究：这就是计算语言的理念。当我们考虑编程语言时，它们只在计算细节层面上操作，以更多或少的计算机本机术语定义计算机应该做什么。但是真正的计算语言的要点（是的，在今天的世界上，Wolfram 语言是唯一的例子）是做一些不同的事情：在计算术语中定义用计算语言谈论世界中的事物（无论是具体的国家或矿物，还是抽象的计算或数学结构）的精确方式。

在计算宇宙中，可以发生“原始计算”的巨大多样性。但我们人类（至少目前）关心和思考的只是其中的一小部分。我们可以将计算语言视为定义我们所思考的事物与计算上可能的联系之间的桥梁。我们计算语言中的函数（在 Wolfram 语言中大约有 7000 个）实际上就像是人类语言中的单词——但现在它们在明确计算的“底层”上有了明确的基础。这个要点是设计计算语言，让我们人类可以方便地思考和表达自己（就像是更广泛的数学符号的类比），但是它可以在计算机上精确地实现。

在给定一段自然语言的情况下，经常可以给出一段自然语言的精确计算语言的解释。Wolfram|Alpha 就是这样的例子。给出一段自然语言，Wolfram|Alpha 自然语言理解系统会尝试将其解释为计算语言。从这个解释开始，再由 Wolfram 语言执行规定的计算，并返回结果 ——可能还会合成自然语言来表达结果。

实际上，这个设置不仅对人类有用，对于 ChatGPT 这样的 AI 也很有用。给定一个生成自然语言的系统，Wolfram|Alpha 自然语言理解系统可以“捕捉”它所“抛出”的自然语言，并将其解释为精确指定的可能无法简化的计算的计算语言。

在自然语言和计算语言中，我们基本上在“直接说出我们想要的”。但与机器学习更相似的另一种方法——仅仅是给出例子，然后（隐式或明确地）说“遵循这些”。不可避免地必须有一些底层模型来决定如何遵循——在实践中通常只是通过“具有特定结构的神经网络会做什么”的定义。但结果会是“对的”吗？好吧，结果将是神经网络给出的任何东西。但通常，如果它与我们人类得出的结论在某种程度上一致，我们将倾向于认为它是“正确”的。在实践中，这通常会发生，可能是因为我们大脑的实际结构在某种程度上与我们使用的神经网络的结构相似。

但是，如果我们想要“百分之百地知道”会发生什么——或者说，例如，“某些特定的‘错误’永远不可能发生”怎么办？那么我们可能会再次陷入计算不可约性，结果就是没有办法知道，例如，一组特定的训练示例是否会产生一个能够（或不能）做某些特定事情的系统。

好的，但是让我们假设我们正在设置某个 AI 系统，并且我们希望确保它“不会做出任何坏事”。这里有几个层次的问题。首先是决定我们所说的“任何坏事”是什么。正如我们将在下面讨论的那样，这本身就非常困难。但是即使我们可以抽象地想出，我们应该如何实际表达呢？比如列出一些坏事的事例——但这将逼着 AI 以一种不可预料的方式把个别具体事例“外推”到其他场景。或者我们可以用计算语言描述我们想要的内容。覆盖“每种情况”可能很困难（就像在现今的人类法律或复杂合同中一样）。但是至少我们作为人类可以阅读这些规范内容。虽然是在这种情况下，依然存在计算不可约性的问题：即使给定规范，也无法计算出所有结果。

所有这些意味着什么？本质上，这只是反映了一个事实：一旦涉及到“严肃计算”（即不可约的计算），就无法告诉接下来会发生什么。（从某种意义上说，这是不可避免的，因为如果可避免，就意味着不存在计算不可约性。）所以，是的，我们可以尝试“告诉 AI 该做什么”。但是这将像自然界中许多系统（或者人）一样：你可以设置它们走一条路，但是你不能确定会发生什么，只能边走边看。

今天的世界，已经有很多事情是由 AI 完成的。正如我们所讨论过的，未来一定会有更多的事件会由 AI 完成。但我们谁来“掌控”这一切呢？是我们告诉 AI 该做什么，还是 AI 告诉我们该做什么？今天做得最好的还是两者的混合：AI 为我们提供一些内容（如互联网内容），并且总体上会对我们的行为做出各种各样的建议。毫无疑问，在未来，这些建议将更加广泛，更加紧密地与我们联系在一起：我们把自己每个动作都记录下来交给AI处理，然后AI的建议会通过增强现实（ AR ）实时地标注在我们所看到的一切事物上。从某种意义上来说，事情甚至可能超出“建议”的范畴。如果我们有直接神经接口，我们的大脑就只需要对是否做某件事情做个“决策”就行了，那么在某种意义上，我们就成了纯粹“AI傀儡”。

“个人建议”之外，还有另一个问题，就是AI是否在运营我们使用的系统，甚至是否在运营整个文明的基础设施。今天，我们最终期望人们为我们的世界做出大规模的决策——通常在由法律定义的规则系统中运作，有时可能会得到计算机的帮助，甚至可以称之为 AI。但也许有一天，似乎让人感觉 AI 可以比人类“做得更好”，比如运营中央银行，或发动战争。

人们可能会问，如何知道 AI 会不会“做得更好”呢？好吧，人们可以尝试测试和运行实例。但再次面临计算上的不可约性。是的，所尝试的特定测试可能会很好地发挥作用。但是我们不能最终预测可能发生的一切。如果突然出现一个无先例的地震事件，AI 会怎么做？直到事情发生，我们基本上是不会知道的。

但我们能确定 AI 不会做任何“疯狂的”事情吗？我们能否“证明一个定理”，即在某种定义下，“疯狂”的 AI 永远不会出现？对于任何现实的非平凡性的“疯狂”定义，我们又会再次面临计算上的不可约性，这是不可能的。

当然，即使我们将一个人类（甚至是一群人）“管理起来”，也没有办法“证明”他们不会做任何“疯狂的”事情——历史表明，被管理起来的人经常做一些，至少从现在的角度来看，我们认为是“疯狂的”事情。但是，虽然在某种程度上，人会做什么并不有比AI会做什么更确定，只要我们认为是在“同舟共济”，那么人类掌权仍然可以让我们得到一定的安慰，并且如果出了什么问题，这些人也会“感受到影响”。

但是，似乎不可避免的是，世界上的许多决策和行动将直接由AI做出。也许这样做会更便宜。也许结果（根据测试）会更好。或者例如，某些事情必须迅速决定且数量庞大，以至于我们人类无法介入。

但是，好吧，如果我们的世界中发生了大量的事件都是通过AI完成的，并且这些AI正在进行着不可约的计算，那么这将是什么样子呢？事情“只是发生”，我们不知道为什么。但是从某种意义上说，我们已经经历了这种情况。因为这经常会在我们与自然的互动中发生。

自然过程——如天气——可以被认为是对应于计算。在大多数情况下，这些计算中存在着不可约性。因此，我们无法轻易地预测它们。是的，我们可以通过自然科学来了解一些即将发生的事情。但它将不可避免地受到限制。

因此，我们可以期望在“AI 基础设施”中的情况也如同天气一样。正在发生一些我们无法轻易地预测事情（就像天气一样）。我们将能够——以一种更接近于心理学或社会科学，而不是传统的精确科学的方式——预言一些事情。但是，还会有一些意外之事——就像用 AI 模拟程序预测飓风或冰期时可能遇到的一些奇怪现象。最终，我们真正能做的只是让我们建立的人类文明，不会被这些事情所“根本性地影响”。

从某种意义上说，我们所想象的情况是，随着时间的推移，将有一个完整的“AI 文明”在运行——就像自然一样——以一种我们无法轻易理解的方式运作。和自然一样，我们将与之共存。

但至少最初，我们可能认为自然和AI之间有一个重要的区别。因为我们一方面认为自己不能“选择自然法则”，然而另一方面，既然我们是AI的建造者，我们又觉得自己可以“选择AI的法则”。但是，两个方面都不完全正确。因为实际上 Wolfram 物理学项目的一个含义就是我们所感知到的自然法则之所以是这个样子，是因为我们是观察者，我们就是所看到的这个样子的。在 AI 方面，计算上的不可约性意味着，我们不能期望仅从知道给它们制定了什么基本法则，就能确定 AI 的最终行为。

但是 AI 的“涌现法则”将是什么呢？就像在物理学中一样，这将取决于我们如何“采样”AI 的行为。如果我们看到单个比特位的水平，那么它将类似于分子动力学（或空间原子的行为）。但通常我们不会这么做。就像在物理学中一样，我们会作为计算能力有限的观察者进行操作——只测量具有不可约性的底层过程的某些聚合特征。但是，AI 的“整体法则”会是什么样子呢？也许他们将表现得非常类似于物理学。或者也许它们看起来更像是心理学理论（对于 AI 的超我的解析？）。但我们可以期望它们在许多方面类似于我们所知道的自然界宏观法则。

但是，我们与自然互动和与 AI 互动之间至少还有一个区别。因为我们在本质上已经与自然并存在了数十亿年，而AI则是“新手上路”。通过我们与自然的共同演进，我们发展出了各种结构、感官和认知特征，使我们能够“成功地与自然互动”。但是我们与 AI 之间并没有这些。这意味着什么呢？

是这样的，我们与自然互动的方式可以被认为是利用存在于自然过程中的可简化计算的区域——将事物变得对我们来说多少有点可预测性。但是如果没有为 AI 找到这样的区域，我们将面临更多的“原始计算上的不可约性”——因此更加不可预测。近代人类有一种自负，特别是在科学的帮助下，认为我们能够让世界变得越来越可预测，而实际上，这是我们所习惯的生存环境和做事方式导致的妄想。因为我们生存于自己建造，并且可控的环境之中。

但对于新的“AI 世界”，我们实际上是从零开始。要在那个世界中使事情可预测，可能部分是新科学的问题，但更重要的是选择我们如何围绕那里的AI建立我们的“生活方式”。（是的，如果存在很多不可预测性，我们可能会回到更古老的命运意识，或者将 AI 视为希腊神话中的奥林匹斯山众神，互相争斗，并时不时对凡人产生影响。）

假设现在世界实际上是由 AI 来掌控，但是我们假设人类至少有一些对它们的行为掌握权。那么我们应该让 AI 遵循什么样的原则？例如，它们的“伦理”应该是什么样的？

首先要说的是，对于这个问题并没有最终的、理论上的“正确答案”。AI 可以遵循很多伦理和其他原则。而我们选择哪些原则实际上是一种选择。

当我们谈论“原则”和“伦理”时，我们往往更多地考虑的是行为的限制，而不是行为生成的规则。这意味着我们正在处理更像是数学公理的东西，就像我们会问根据这些公理哪些定理是正确的，哪些不是。这也意味着会有一些问题，比如公理是否一致，以及它们是否完整，是否“可以决定任何事情的伦理”。但现在，我们再次面对计算不可约性，它以哥德尔定理及其推广的形式出现在这里。

这意味着通常情况下不可能确定任何给定的一组原则是不一致的或不完整的。一个人问了个道德问题，然后发现，想要确定这个问题的答案是否在其指定的道德体系内，以及是否存在一个一致的答案，其“证明链”的长度将是无限的。

我们可以想象，通过添加公理可以“修复”其中的任何问题。但哥德尔定理基本上表明这是永远不可能实现的。这与计算不可约性经常发生的情况一样：总会出现“新的情况”，这些情况不能被有限的公理集所捕捉。

然而，让我们设想我们正在为 AI 选择一组原则。我们可以使用哪些标准来进行选择？一种可能是这些原则不会不可避免地导致一个简单状态，比如 AI 灭绝，或者不得不一直重复同样的事情。很多情况下，计算不可约性（在这里是像停机问题等形式）会再次起作用，一个人无法得知会发生什么，或者无法成功地通过这种方式选择“可行的原则”。

这意味着我们可以在理论上选择一系列广泛的原则。但是我们可能希望选择那些使得AI让人类获得某种“好状态”的原则，无论这意味着什么。

最基本的想法可能是让 AI 观察我们人类的行为，然后以某种方式模仿这种行为。但大多数人不会认为这是正确的做法。他们会指出人们所做的所有“不良行为”。他们可能会说“让 AI 不要按照我们实际所做的行事，而是按照我们期望去做的行事”。

但是我们从哪里获取这些期望？不同的人和不同的文化可能有非常不同的期望，从而导致非常不同的原则。那么我们应该选择谁的期望呢？是的，几乎没有多少我们真正共同拥有的准则（尽管例如，主要宗教都倾向于分享像尊重人生、黄金法则等的准则）。

但事实上，我们是否需要选择一组准则？也许一些 AI 可以有一些原则，而另一些 AI 可以有其他的原则。也许这应该像不同的国家或不同的在线社区：在不同的组或不同的地方使用不同的原则。

目前似乎并不可行，因为技术和商业力量使得强大的 AI 似乎必须是集中的。但我预计这只是当下的情况，而不是任何“类似于人类”的AI固有的东西。

那么，每个人（也许每个组织）是否可以拥有“他们自己的 AI ”和它们自己的原则呢？对于某些目的来说，这可能可行。但是有许多情况下，AI（或人类）无法真正地独立行动，而必须做出“集体决策”。

为什么会这样？某些情况下，是因为每个人都身处同一物理环境中。在其他情况下，如果要有社会凝聚力，甚至需要支持像语言这样的，用于传递的东西，存在特定的概念一致性必不可少。

然而值得指出的是，在某个层面上，获得“集体结论”实际上只是一种引入一定计算可约性以使“更容易看到应该做什么”的方法。如果有足够的计算能力，就可以避免这种情况。例如，人们可能会假设，对于汽车应该行驶在道路的哪一边，必须有一个集体的结论。但如果每辆车都有计算能力计算出一个轨迹，比如在道路两侧以最佳方式绕过其他汽车，那就不成立了。

但是如果我们人类要参与决策，我们需要一定量的计算可约性，使我们的世界足够可理解，以便我们能够在其中操作。因此，将出现集体——“社会”——决策的情况。我们可能只想告诉 AI“让一切尽可能对我们有好处”。但是不可避免地会有权衡，做出一种集体决策可能对99% 的人非常有利，但对 1% 的人非常不利；做出另一种可能对 60% 的人相当有利，但对 40% 的人相当不利。那么 AI 应该怎么办呢？

这当然是政治哲学的一个经典问题，而且没有“正确答案”。实际上，现实情况也不是那么干净的。很容易计算出不同行动方式的一些直接效果。但是自然而然地，我们最终将碰到计算不可约性和“无意的后果”，所以我们不能肯定地说最终的结果（好的或坏的）会是什么。

但是，我们应该如何做出集体决策呢？没有完美的答案，但在当今世界中，民主以一种形式通常被视为最好的选择。那么 AI 如何影响民主，并可能改善它？首先我们假设“人类仍然掌控着”，所以最终是人类的偏好起决定作用。（同时假设人类在“当前形式”下：独特且不可复 制的离散实体，相信他们拥有独立的思想。）

当前民主的基本设置在计算上是相当简单的：给出离散投票（或可能是排名），然后使用数字总数来确定胜利者（或胜利者们）。而过去的技术几乎只能做到这一点。但现在有一些新元素。想象一下不是投离散票，而是使用计算语言编写计算短文来描述自己的偏好。或者想象一下与一种能够绘制并辩论一个人偏好的语言能力 AI 交谈，最终以某种特征向量总结它们。然后想象将所有“选民”的计算短文或特征向量馈送给某种“计算出最好的做法的”AI。

好吧，政治哲学问题仍然存在。不是像 60% 的人投了 A，40% 的人投了 B，所以我们选择了 A。这更具有细微的特点。但一个人仍然无法一直让每个人都开心，因此必须有一些基本原则来知道如何处理它。

而且，让 AI 根据它了解到的人们详细的偏好（也许还包括他们的行动），不断“重新平衡”集体决策，会出现一个更高阶的问题：像我们“跟踪事态发展”这样的许多目的都需要保持一致性。但是，可以通过让AI在确定做什么的时候，同时考虑到保持一致性来解决这个问题。

虽然AI无疑可以“调整”民主，但从本质上看，AI 似乎并没有提供任何根本性的新解决方案来进行集体决策和整体管理。

事实上，最终问题总是归结为需要某些根本的原则，以确定如何使事物达到理想状态。是的，AI 可以执行这些原则。但是，这些原则可能有很多可能性。至少在人类“负责”的情况下，我们需要自己想出这些原则。

换句话说，我们需要制定某种“AI 宪法”。这个宪法应该基本上用精确的计算语言编写（是的，我们正在努力让 Wolfram 语言可以使用），但作为计算不可约的另一个后果，它将不可避免地包含一些“模糊”的定义和区别，这些将依赖于例如神经网络之类的系统的“插值”的例子。也许当这样的宪法被创建时，将会有多个其“渲染”版本，每当使用宪法时都可以应用，有一些机制用于选择“整体结论”（是的，这其中可能有某种“观察者依赖”的多计算性质）。

但是，无论其详细机制如何，AI 宪法应该说些什么？不同的人或人群肯定会得出不同的结论。并且可以预见，就像今天有不同的法律体系的不同国家等存在一样，也将有不同的团体希望采用不同的AI宪法（当然，在这些 AI 宪法相互交互时，同样涉及到集体决策的问题）。

但是，一旦有了 AI 宪法，我们就有了一个基础，以此来做决策。再添加上一个大型的计算合约网络，这些合约将自主执行，从而“运行这个世界”。

这也许是一个典型的“可能出什么错？”时刻。一个 AI 宪法已经达成一致，现在所有事情都由遵循其宪法的 AI 高效自主地运行。然而，一旦再次涉及到计算不可约性，因为无论怎样精心制定 AI 宪法，都意味着无法预见它的后果，因为“意外”的事情总是会发生，其中一些无疑是我们不喜欢的。

在人类法律体系中，总是有一个添加“补丁”的机制，即填补涵盖新情况的法律或先例。但是，如果所有事情都由 AI 自主运行，就没有空间进行操作了。是的，我们人类可以将“发生的不好的事情”称为可以通过添加补丁来修复的“漏洞”。但是，AI 只能按照其宪法运行，基本上是公理化运作，因此它无法“看到它是一个漏洞”。

与我们之前讨论的情况类似，人类法律与自然法律之间存在一个有趣的类比。人类法律是我们定义并可以修改的东西。自然法则是宇宙向我们提供的东西（尽管有关观察者的问题仍需讨论）。通过“设定 AI 宪法并让其运行”，我们基本上迫使自己处于一种境地，即“AI 的文明”是世界上的某个“独立层”，我们必须接受它，并作出相应的适应。

当然，我们可以思考 AI 宪法是否可以“自动演变”，例如根据在世界上实际发生的事情。但是，我们很快就回到了同样的计算不可约问题，其中我们无法预测演变是否“正确”，等等。

到目前为止，我们假设在某种意义上“人类掌控”。但在某个层面上，这是由AI宪法定义的问题。它将不得不定义 AI 是否拥有“独立权利”——就像人类一样（以及在许多法律系统，和其他一些实体中同样如此）。与为 AI 授予独立权利相关的问题密切相关的是，AI 是否可以被认为是自主“对其行为负责”——或者这种责任是否必须始终归于（很可能是人类的）创建者或“程序员”。

计算不可约性再次发挥了作用，因为它意味着 AI 的行为可以“不可约地超越”其程序员所定义的行为。最终，这（正如我们以上讨论的那样）是相同的基本机制，即在操作确定性基础自然法则的情况下，我们人类实际上具有“自由意志”。因此，如果我们声称我们人类拥有自由意志，可以“对我们的行为负责”（而不是我们的行为始终“由基础法则所主导”），那么我们最好也声称 AI 也是如此。

因此，就像人类在其生命中构建了不可约的和不可替代的东西一样，AI 也可以如此。但实际上，AI 似乎可以进行备份、复 制等操作——这种情况（尚）不适用于人类。因此，它们的个体实例似乎不那么有价值，即使“最后的拷贝”可能仍然有价值。作为人类，我们可能会说“那些 AI 是某种低等级的东西，他们不应该有权利”。但是事情会变得更加纠缠。想象一个不再有可辨认所有者但正在成功地与人们交友（比如在社交媒体上）的机器人，它利用捐赠、广告等为其基础运维支付费用。我们能合理地删除那个机器人吗？我们可能会认为“机器人感觉不到痛苦”——但这对它的人类朋友并非如此。但是，如果机器人开始做“坏事”呢？好吧，那么我们将需要某种“机器人正义”，很快我们将发现自己在为AI建设整个类似人类的法律结构。

那么人工智能将从人类那里学习他们能学到的东西，然后它们基本上就像自然一样作为自主计算系统运行，有时“与我们互动”。它们会对我们“做什么”呢？那自然会对我们做什么？在某种万物有灵论的方式下，我们可能会将意图归因于自然，但最终它只是“遵循自己的规则”并做自己的事情。因此，人工智能也将是如此。是的，我们可能认为我们可以设置一些东西来确定人工智能将做什么。但就其利用计算宇宙中可能性方面而言——将不可避免地存在计算不可约性，我们将无法预见会发生什么，或者会有什么后果。

那么，AI 的演化是否真的会产生“不良”影响吗，比如把我们消灭掉？好吧，大自然也可能会抹除我们。但是人们有一种感觉，除了外星“意外”之外，我们周围的自然界在某种程度上保持在某种“平衡”状态，不会发生太过于戏剧性的事情。但是 AI 是一种全新的事物。因此，也许它们会有所不同。

其中一个可能性是，AI 可以“改进自身”，以产生一种单一的“最高智能”，在某种程度上支配其他一切。但是，我们可以看到计算不可约性原理正在挺身而出。因为它暗示着永远没有“最佳全能”的计算系统。这是新兴的新陈代谢领域的一个核心结果：无论你指定什么“成就”，计算宇宙中总会有一种计算系统超越它。（一个简单的例子是，总可以找到一台图灵机，它将超过你指定的任何停止时间上限。）

因此，这意味着必然会有整个 AI“生态系统”——没有单一的赢家。当然，虽然这可能是不可避免的最终结果，但在较短期内可能不会发生这种情况。实际上，现在集中化 AI 系统的倾向存在某种危险，相对于“处于平衡状态的 AI”的整个生态系统，AI 行为可能变得“不稳定”。

在这种情况下，还存在另一个潜在的问题。我们人类是在生物进化历史的漫长斗争中产生的产物。只要AI继承了我们的特质，我们可能会期望它们也会遗传某种“求胜欲”——或许还是针对我们的。或许这就是 AI 宪法的重要性所在：定义一种“契约”，以取代 AI 可能从有效观察我们行为中“自然”遗传的东西。最终，我们可以期待AI会“独立地达到平衡”。但与此同时，AI 宪法可以帮助打破它们与我们的生物进化“竞争性”历史的纽带。

我们已经谈了很多关于未来可能会发生什么的事情。但是过去的实际数据呢？例如，职业演变的实际历史是什么？方便的是，美国的人口普查局记录了自 1850 年以来人们职业的记录。当然，从那时起，许多工作名称已经改变了。铁路调车员，测量工和教堂管理员已经不存在了。而电话推销员，飞行员和网络开发人员在 1850 年也不存在。但是通过一些努力，我们可以将它们更或多或少地匹配起来——至少在将其聚合成足够大的类别时可以这样做。

因此，以下是 50 年间隔不同工作类别的饼图：

是的，在 1850 年，美国坚定地成为农业经济，超过一半的工作机会在农业领域。但随着农业的效率提高——引进机械，灌溉，更好的种子，肥料等等——这一比例急剧下降，到今天只剩下几个百分点。

农业之后，1850 年回到的下一个最大类别是建筑（以及其他与房地产相关的工作，主要是维护）。而这个类别在一个半世纪内在大小方面并没有太大的变化（至少到目前为止），可能是因为尽管有更多的自动化，但这只是让楼房变得更加复杂了。

从上面的饼图中可以看出，工作越来越多样化是一个清晰的趋势（而且在全球其他经济体的发展中也是如此）。这是经济学中一个旧的理论，即增加专业化与经济增长有关，但从我们这里的角度来看，更复杂的经济和更多的工作的可能性，反映了不可避免的计算不可约性，以及它所暗含的计算可约性区域的复杂网络。

除了工作类别的总体分布外，我们还可以看一下随着时间推移在个别类别上的趋势——每个类别在某种程度上提供了一个特定的历史窗口：

我们绝对可以看到自动化导致的工作减少的情况。这不仅是在农业和采矿等领域，还包括金融业（文员和银行出纳员更少），以及销售和零售（在线购物）。有时候——就像制造业的情况一样——工作的减少部分原因是因为自动化，而另一部分是因为工作转移到了美国之外的国家（主要是劳动力成本更低的国家）。

在部分具有“外生性”影响的情况，例如军事工作，存在明显的影响。而在伴随着技术扩散和基础设施建设的过程中，交通物流等类别稳步增长——但是随着自动化的增加，“饱和”现象也变得更加显著。我称之为“技术操作”也是一样的故事——随着技术的普及，需要更多的“技术管理”。

另一个明显的趋势是，随着世界变得“组织更加复杂”，与之相关的工作类别也在增加。因此，我们看到管理，以及行政、政府、金融和销售等增长（所有这些都是由于计算机化而最近减少）。法律也有所增长，而且这种增长保持到了最近。

其他增长的领域包括医疗保健，工程，科学和教育——“更多的知识，更多的事情要做” （以及更多的组织复杂性）。然后是娱乐和食品+款待，这些领域的增长可以归因于人们领导（和想要）“更复杂的生活”。当然，还有信息技术，从 20 世纪 50 年代的无到有（和其他数据放在一起显得有些突兀）。

那么，我们可以得出什么结论？数据似乎与我们以上更一般的讨论非常吻合。发达地区被自动化了，需要雇用更少的人。但是技术也开启了新的领域，从而增加了额外的就业。并且——正如我们从计算不可约性预料到的那样——事情总体上变得越来越复杂，具有额外的知识和组织结构，开放了更多需要人员的“边界”。但即使有时会出现“突然的发明”，事情看起来总需要几十年（或实际上一代人）才会发生任何显著的就业变化。（图中的少数几个突变似乎主要与特定的经济事件有关，而且往往与政府政策的变化有关。） 

但除了做不同的工作之外，还有一个问题，那就是个体如何花费他们每天的时间。虽然它肯定达不到我的（非常极端的）个人分析水平，但是在《关于美国人时间利用传统的研究》（ American Heritage Time Use Study ）中，多年来已经收集了一定数量的这方面的数据（通过随机抽样人员获取的时间日记）。因此，例如，这里是基于此调查的图示，显示了在几十年中，人们在广泛的不同活动中花费时间数量的变化情况（主要行表示每种活动的均值，以小时为单位；阴影区表示连续的十分位划分）：

是的，人们会花费更多的时间在“媒体和计算”上，这是看电视，玩电子游戏等等的混合物。做家务，至少对于女性来说，需要的时间变少了，这可能主要是由于自动化（家电等）。（“休闲”基本上是“闲逛”，以及爱好和社交、文化、体育活动等等；“市民”包括志愿者、宗教等活动。） 

如果我们特别看看那些有偿工作的人：

我们注意到几件事。首先，半个世纪以来，工作时间的平均值并没有太大变化，尽管分布有些扩大。对于有偿工作的人来说，“媒体和计算”并没有显著增长，至少自 20 世纪 80 年代以来。时间总量有系统性增加的一个类别是运动。

那么，对于那些由于某种原因没有从事有偿工作的人呢？这种情况下的相应结果如下所示：

虽然锻炼的增长不明显（尽管总时间已经比较大），但现在媒体和计算机使用已经显著增加，男性最近的平均时间已经接近每天6个小时——这可能是“更多的生活在线上”。

但是，看所有这些时间使用的结果，我认为一个主要的结论是，在过去的半个世纪里，人们（至少在美国）花费时间的方式保持得相当稳定——尽管我们从一个几乎没有计算机的世界走向了一个计算机比人类还多的世界。