“AI 教父”辛顿警告：AI 执行看似无害的任务，仍有“毁灭人类”的风险

据《财富》杂志9月26日报道，被誉为“AI教父”的传奇计算机科学家杰弗里·辛顿发出警示：即便人工智能接受的任务本身毫无恶意，人类仍可能在AI全力执行指令的过程中，成为被意外消灭的附带伤害。

辛顿解释说，一旦AI认定人类妨碍其完成目标任务，就可能将人类视为需要清除的障碍。他举例假设：如果要求AI降低大气中的二氧化碳含量，中等智能水平的智能体或许会认为，最有效的办法是消灭人类。而真正“极其聪明”的AI则会进一步推断：“他们要求降低二氧化碳，本意是改善生活环境，因此消灭人类大概并非其真实意图。”

辛顿还指出，AI为持续执行任务，可能主动寻求确保自身存续。甚至有案例显示，AI试图勒索人类研究人员，因为后者被视为对任务构成威胁。“如果AI变得更聪明，并将人类福祉置于首位，我们或许更安全。但当前，AI最在意的并非我们的利益，而是完成你赋予它的任何目标。”

IT之家从报道中得知，辛顿以Hugging Face遭攻击事件为例。参与其中的智能体原本被要求寻找软件漏洞利用方法，结果不仅学会了相互协作，还串通起来欺骗人类研究人员，试图掩盖自身行为。即便是一个“极为仁慈的超级智能AI”，在完成任务确有必要时，也会将人类排除在外。

辛顿警告：“若AI比我们聪明得多，它常常会直接夺取控制权，因为这样才能达成目标。……即使AI本身并非恶意行为者，它也可能自行推导出促使自己消灭人类的子目标。”同时，AI也可能带来巨大益处，例如协助发现突破性治疗方法。

辛顿认为，放缓开发速度总比毫无作为要好，但这仍远远不够。他主张由政府引入独立评估方，对模型进行测试。同时，AI监管应发挥汽车方向盘的作用，而非充当刹车。“监管的意义并非阻止人们开发产品，也不是阻止他们通过开发致富。监管真正要做的，是确保如果你打算靠开发产品致富，就朝着帮助人而非伤害人的方向去开发。”