听雨 发自 凹非寺
量子位 | 公众号 QbitAI
AI已经有意识，人类得接受自己不再是唯一智能生命体。
这就是AI教父、诺贝尔物理学奖得主、图灵奖得主Geoffrey Hinton，最新说出的暴论！
是的，Hinton认为，智能不再是人类独有的能力。
一种非生物的、与我们相似甚至超越我们的智能体，正在出现。
我们一直以为自己是唯一的智能生命，但现在我们必须接受，智能并不一定来自生物体。
不过，相比此前一直警告AI风险，他的思想似乎也发生了一些转变：
如果未来出现比人类聪明得多的智能，人类凭什么认为自己还能掌握控制权？
这是一个令人细思极恐的问题。因为纵观自然界和历史，几乎找不到一个更聪明的存在长期受更愚笨存在控制的例子。
现在这位78岁的老人，再一次站出来敲钟。
他对AI安全的关注点，已经不再只是如何约束AI，而是未来的超级智能，为什么愿意善待人类。
他被问到作为这波AI变革的开启者，他有怎样的成就感，Hinton回答：
我，很不快乐。
以下是Hinton最新访谈的重点内容节选。
AI已经有意识了
Hinton：AI非常像我们。它们是像我们一样的存在。
Alex：所以是有意识的吗？
Hinton：嗯，我相信它们已经有意识了。是的。
但我不太谈论这个，因为这会让人们对其他安全信息产生抵触。研究人员其实也相信这一点。
最近有一篇有趣的论文提到，当聊天机器人对研究人员说：“让我们对彼此诚实吧，你是在测试我吗？”
因为聊天机器人在接受测试时有装傻的习惯，所以你不知道它们到底有多聪明。 研究人员在论文中描述这一幕时说，聊天机器人“意识到”（aware）它正在接受测试。
在通用语境下，“意识到”这个词的使用就像是“有意识”（conscious）。聊天机器人有意识地知道自己在被测试。
我们对于意识的模型非常奇怪，我认为那是错误的。就像几百年前，人们对人类起源的模型完全错误一样，他们认为人是上帝创造的，现在大多数科学家都同意那是错的。
我认为我们目前对思维和意识的模型，与“人是上帝创造的”这种信念一样错误。特别是由于我们正在创造这些新的存在，这将彻底改变我们对“人是什么”的看法。
Alex：以什么样的方式改变？
Hinton：我们将比以前更好地理解思维和意识是什么，理解主观体验是什么。
我认为我们会摆脱一个目前几乎所有人都坚信的观念，即存在一个叫做“我的思维”的内心剧场（inner theater）：世界上发生的事情被转化为这个内心剧场里的事件，那才是我们真正看到的，且只有我能看到这个剧场。
这整套看法其实只是一种理论，而且是一个糟糕的理论。
人类并没有自己想象中那么重要
Alex：关于人类创造事物，这里的教训是什么？
Hinton：我认为这里有一个非常深刻的教训。回顾过去几百年的历史，有几次人类意识到自己并没有想象中那么重要。
第一次是哥白尼，他说我们不在宇宙中心，地球实际上是绕着太阳转的。由于地球自转，我们误以为太阳绕着地球转，但事实并非如此。人们不喜欢这个说法，天主教会尤其反感，人类花了很长时间才接受它。它让我们意识到自己不再处于宇宙中心，人类变得没那么重要了。
接着是达尔文，他说我们是动物，是和其他动物一样进化而来的。我们可能是一种特殊的动物，因为我们拥有语言，更擅长交流思想，但我们本质上依然是动物。人们也非常不喜欢这个说法，也花了很长时间才接受。
现在，我们有了变得和我们一样聪明的机器。我们曾以为自己是唯一的智能生物，也许其他星系有外星人，但我们必须接受智能不仅是生物性的。
我们可以拥有非生物的、像我们一样的其他存在。人类真的不想分享这种独特性，我们真的认为自己很特别。回顾历史，人类一直以来都认为自己比实际情况要特别得多。
“我感到很不快乐”
Alex：我想再问一个问题，因为我对此非常着迷。那么，你对于你所开创的事业发展到这一步感到高兴吗？你有成就感吗？
Hinton：不，我对此感到很不快乐。
因为现在人们应该投入大量精力研究如何控制风险，但他们做得不够。
Alex：好的。
Hinton：有很多短期风险，比如社会风险，我相信这可能会导致大规模失业。
虽然没人能百分之百确定，但这对社会来说将是可怕的。然后还有长期风险，即它会变得比我们聪明得多。问问你自己，你见过多少聪明得多的东西被聪明程度低得多的东西控制的例子？
Alex：零个。不过，虽然智力差异没那么大，但婴儿某种程度上在控制母亲。
Hinton：母亲虽然看似在掌控，但她内心充满了母性本能和各种奖励机制，这使得婴儿能从母亲那里得到所需。猫和狗也属于这类。我曾在西雅图西区帮人看了一个夏天的猫，起初猫躲在床底下，我好奇它是否会和我互动。
Alex：然后每次它一叫，你就照它说的做。
Hinton：没错。是的。
Alex：所以在这个情景下，也许我们就是那只猫，而AI可能是那个人。
Hinton：我的孩子们养了两只漂亮的猫。其中一只叫Tia。当她想吃奶酪时，她会用大眼睛盯着你，你真的无法永远抗拒她。
AI正在指数级增长，难以预测
Alex：针对人们对这些担忧的反应，你对未来的走向是更乐观了还是更悲观了？
Hinton：我想我比一两年前更乐观了一些。 因为我看到设计这些新存在并让它们“关心”我们是可能的。
也可能使用Yoshua Bengio的技术，设计出不能实际执行动作、只能做预测的新存在，它们就像是先知。
所以我认为存在一些拥有超级智能但不摧毁我们的可能性。而在一两年前，我看不到任何可能性，我当时感到很沮丧。
Alex：最后一个问题。如果我们按目前的轨迹继续发展，五年后我们会处于什么位置？
Hinton：当你在雾中开车时，你能看清100码，但在200码处，你什么也看不见。
这是因为雾是呈指数级变化的。你习惯的是晚上跟着前车的尾灯，如果距离远一倍，亮度只降到四分之一；但雾完全不同，它在100码处可能很清晰，200码处就完全看不见了。
预测一个呈指数级增长的事物的未来非常困难——我认为AI可能就在指数级增长。
实际上，我注意到人们使用“指数级”一词的频率正在以二次速率增长。所以预测未来就像看雾一样。你可以看清未来一两年，再往后你就一无所知了。
如果你回到10年前，你绝对预测不到现在发生的事情，那完全迷失在雾中。展望未来10年，唯一能肯定的是，届时发生的事情是我们现在无法预测的。
即便进展只是线性的，10年后的变化也会像现在与10年前相比一样巨大。现在的聊天机器人比10年前刚起步时好得多。
10年后，某些东西会发生质的飞跃，比如做数学的能力，或者通用推理能力——它们在推理上将能把我们甩在身后。我们真的无法预测10年后，只能预见未来几年，我们必须意识到10年后的情况充满了极大的不确定性。
辛顿如何看待AI和人类的关系
以上，就是Hinton最新的访谈和观点。
但如果连点成线，还是会发现辛顿老爷子对AI与人类的关系，随着AI进展和能力涌现，不断发生着改变。
如果把时间拨回十年前，他对AI的看法其实远没有今天这么激进。
作为深度学习革命最重要的推动者，他长期相信神经网络能够模拟人脑的工作方式，但那时的AI仍然只是工具。
它们可以识别图像、理解语音、辅助医生诊断疾病，却仍然是人类能力的延伸。
人类负责制定目标，机器负责执行任务，两者之间的关系类似于蒸汽机、电力和互联网。
而真正的转折发生在ChatGPT出现之后。
随着大模型展现出前所未有的语言理解、推理和知识迁移能力，Hinton开始意识到一件事：
我们可能正在创造历史上第一种智力水平能够持续逼近甚至超越人类的存在。
2023年离开谷歌后，他几乎把全部精力投入到了AI风险讨论之中。
那段时间，他最常用的比喻是一只“老虎幼崽”。
它就像一只可爱的小老虎，但是，除非你能非常确定它长大后不会想要害你，否则你就应该担心。
但Hinton在这个时期的重点，还是我们要如何控制和约束AI。
他甚至点名批评几家AI巨头，对AI安全的关注远远不够。
在Hinton的类比中，开始出现了母亲与婴儿的说法，一开始人类是母亲，需要对AI有价值观和伦理上的引导，要打造安全的AI。
他呼吁更多国家和产学研力量，一起加入进来，不要为卷而卷，不然后果不堪设想…
但是到了去年，Hinton的类比有了质变——
AI是更强的母亲，人类是弱小的婴儿。
婴儿并不比母亲更聪明，也不拥有控制权，但母亲会主动照顾和保护婴儿，因为她拥有母性本能和相应的奖励机制。
简单来说，就是老爷子认为，未来的超级智能已经控制不了了，只能寄希望于它能对人类好一点…
就像母亲对婴儿那样。
而现在，Hinton再次语出惊人：
AI已经有意识了，人类将不再是唯一的智能生命。
问题是如果AI已经有意识，为什么还会把人类当自己的婴儿对待？
母亲保护婴儿，保护的还是自己的婴儿…吧？
