善良是避免AI作恶的根本力量

昨天修改课件时，突然想到十年前和同事聊天时的一个想法：等我退休后，或许可以写一本关于概率的书。我认为：对概率和不确定性的认识，是人类智慧最基本的体现。

当时的想法，来自《孙子兵法》。  

在我看来，孙子兵法的本质，是讨论如何处置军事斗争中的不确定性。孙子的理论是最大可能地规避风险、争取胜利。比如，处置不确定性最基本的原则是尽量减少不确定性。所谓“知己知彼”，就是要获得完整的信息；信息多了，不确定性就少了：这是信息论的基本观点。

如怎样才能做到“知己知彼”。看似“技术问题”，本质上是“人性问题”。

比如，要派间谍去获取敌人的情报。许多将领知道间谍的作用，却克服不了人性的弱点：舍不得花钱。进一步，既然双方的决策都依靠信息，战胜对手的办法之一就是为对方提供虚假的信息，让对方根据虚假的信息做出错误的概率决策。怎么才能让敌人相信错误的信息呢？就要用对手“贪婪、恐惧”等人性的弱点。

“聪明”原本的意思是“耳聪目明”，也就是获得信息的能力强。如果说降低不确定性靠的是“聪明”，应对不确定性则需要“勇气”。

优秀的决策者，往往难以在完全确定的前提下做出决策，需要一定程度的冒险。如果要求凡事都要有把握，也就没有机会了。6年前我离开宝钢，就体会到了这种感觉。比如，我经常会与人合作。要完全信任对方，需要多年的考察，即所谓“日久见人心”。但是，如果你总是把时间花在考验合作者上，还会有成功的机会吗？这时，我们需要学会判断概率的大小。当某件事的概率足够大的时候，就要采取行动了，这就需要勇气。我经常说：如果人类没有勇气，也就不会有创新。  

要在合理评估概率的基础上，有勇气做出决策。“聪明”+“勇气”才是“智慧”。如果没有这样的智慧，就不会有创新，人类也就不会发展。  

昨天改的课件，听众是银行系统。在课件上，我想谈一点对人工智能的想法。  

众所周知，人工智能算法的本质，就是对概率的计算。AI算法的成功，本质上是概率计算的准确。利用AI，银行可以更加科学地做出决策：识别优秀的投资对象、识别有欺诈嫌疑的贷款人等。AI技术，可以提升人们面对不确定性的能力。这种能力提升了，就能促进社会的发展、技术的进步。  

但是，如果骗子学会使用AI，又会怎样呢？骗子会用AI发现银行系统微小的概率漏洞，把破坏作用发挥到极致。小概率事件的大概率发生是非常可怕的。比如，我们为什么会敢于出门而不怕交通事故？因为我们知道：只要遵守交通规则，发生交通事故是小概率事件。

我们知道：AI的帮助下，小概率事件变成大概率事件。如果这种想概率事件对人类是有害的，就会让人无所适从、人们会每天生活在不确定和恐惧中。人类的幸福也就无从谈起。

这样，“猫和老鼠”的游戏，就会在AI时代展开。

“道高一尺魔高一丈”，人类使用的系统总会有各种各样的问题，能够被坏人利用。但是，如果大家都本着“科技向善”的原则，就会有成千上万的“道”去对付很少很少的“魔”。这样，就可以把“魔”作恶的机会压缩到最小，进而从概率上保护了人类的生存。由此可见，人类在AI时代命运，仍然决定于概率因素。

人类的失败，本质上往往源于人性的弱点；人类的长盛不衰，则源于人性中本质的优点。从聪明上升到智慧，需要“勇气”的美德。但是，人类要利用AI而不是被其所害，仅靠“聪明”和“智慧”是不够的，最终还需要“善良”的力量。人类本身的善良，是阻止AI作恶的根本力量。