#71 人工智能可以拥有自由意志吗？
01:12:43 Share

自由意志是什么?如果说我们人类可以具有所谓的自由意志那么 AI 是否能具有类似的能力呢?或者说它能模仿出来吗?如果人工智能无法拥有自由意志难点又在哪里?欢迎收听本期播客听众朋友们大家好啊欢迎收听由科技慢慢拍和 AIGC 开放社区联合出品的播客节目今天我们打算再聊一期关于人工智能的话题

就像我们标题所描述的到底人工智能是不是可以拥有自由意志呢这个问题我想也在困扰很多人不管在学术界还是在社交媒体上大家会有很多的讨论可能这个问题问谁呢估计心头都会涌起千重浪头脑中跑过无数的奇怪符号从哲学到科学

可能很多人也没有很好的思考过这个问题但是呢我觉得这个问题呢还是非常有必要来去讨论的哈因为我觉得这个问题呢首先对于人工智能的发展非常重要其次呢对于我们人类自身呢也很重要所以呢我想先说一下为什么我们有必要来讨论这个话题就是关于人工智能是否能拥有自由意志的这个话题啊那第一呢

我们可以从技术上来讲如果人工智能具有了类似于人类的这种自由意志那么也就肯定代表着人工智能技术已经发展到了某一个所谓新的阶段我们不能说它一定就算是 AGI 但是至少代表了人类实现 AGI 的某一个重要的里程碑

但是我们就可以发起更为广泛的一个思考那个时候的 AI 能做什么呢那它的特长又是什么呢以及我们在这个过程中我们如何扬长避短如何改进研发过程当然这些都是单纯的从纯技术的角度出发所以我们第二如果说我们 AI 能够具有这样的自由意志

我们有可能就要重新审视我们对于使用 AI 的之前的一些传统的方法我们就要考虑是否应该研发那种具有这种主观性思维的这样的一个人工智能的技术还是说我们认为 AI 能不能成为一个自主的真正的用户而不只是一个被动的使用者

所以这个和我们过去把 AI 和人类这样的一个关系可能会去做一些扭转所以他不简单的把 AI 再作为某种人类的工具了

所以他也有可能会去演化出或者改变我们多年来对于计算机软件以及数据的看法那计算机也好或者人工智能也好那一下子就翻身做主人了从传统的工具变成了新的数字的一种主体地位所以改变了人工智能在社会发展中的一个传统的定位我想这是第二点

第三点如果人工智能真的出现了自由意志我们就需要重新会调整之前我们对于 AI 的所有的审核的一些管控以及法律的框架

那当问题发生的时候比如说当人工智能在出错的时候那我们就要去考虑我们到底是应该问责的之前的那个研发的人呢还是使用者呢还是自己的这个所谓人工智能技术当然我们现在今天大家还是会去问责这个使用者或者研发者还是要归结到人的责任上啊

如果机器有了自由意志之后那是不是也应该承担对应的所谓的责任后果呢我们之前的法律条款当然是不适用的所以我们就需要重新去考虑我们所谓审核管控的一些所谓的改变所以这也是从社会性或者从管控政府的角度我们要去考虑的事情

那第四呢当然也是最重要的一个问题那 AI 的自主决策的能力就带来了所谓的问责制和责任归属以及行为后果等一系列的问题那中间呢也会引发我们对于传统的道德的顾虑的这种考虑的改变那 AI 的行为由谁来负责 AI 是否具有资格来享有某种权利或者义务那这种

其中如果带来一些偏见的问题那也会造成 AI 自主性面临的主要的伦理的挑战之一

由于 AI 系统是依赖于大量的数据的学习的我们有可能的不自觉的会去继承或强化数据中的既有的偏见这样会让人们对于 AI 系统的决策的公平性产生质疑但是相反的 AI 有自己的思辨或者他的自主意识这个里面的伦理困境我们到底怎么解决

如果 AI 没有解决所谓他的决策过程中的不透明性的话那这样的话呢更让我们无法去解释 AI 所谓背后的一些判断或者决策的一个过程那 AI 系统的自由意志呢通常就会带来我们所说的这种伦理困境那之前呢我们所采用的这种技术伦理是不是还能发挥一些关键的一些作用啊

因为技术伦理通常会帮助我们来确定某个系统所遵守的这样的边界和界限以确保其行为能够符合我们人类的这样的道德标准而当 AI 系统具有了自由意志之后我们就要深入的思考说如何将人类的价值观和原则有效的能够融入到人工智能系统中

使他的决策过程和我们人类的道德标准保持一致这个也是我们今天的很多科技公司所要做的所以我们第三点是谈到的法律和监控制度第四我们就谈到了更多的从比如说道德或者是责任权利义务等等这些方面我们要去重新考虑 AI 与人类的关系

所以我上面谈到了 4 个不同的角度都是我们为什么非常有必要去来讨论说 AI 系统是不是能够所谓拥有自由意志这个话题虽然我们知道今天我们的 AI 当然还不具备这样的一个能力但我们必须要考虑到未来可能是不是它在很短的时间内就会达到这样的一个水平如果假定如果某一天 AI 真的具有了自由意志

我们至少还要做好两方面的准备第一个就是所谓的警示教育或者预防性的思考首先我们要引导我们的大众能够更全面的了解 AI 的这些潜在能力和它的局限性避免大众对于 AI 能力的过度的期待或不合理的这种恐惧而带来的社会的一定的动荡

另外如何要考虑让我们怎么去预测或者规避 AI 可能带来的风险避免那种 AI 的失控或者反客为主的这种场景的发生

这是第一点第二我们需要考虑说我们人类自身的一些反思就是从我们自己的角度要想一想我们有没有什么问题人工智能的这种自主意识可能能够促使我们自己重新审视人类自身的一些道德标准是否正确以及我们之前赋予的机器的这种自主的权利的影响会对我们人类产生哪些影响

如果能够更进一步的思考说我们为什么能够成为人那人和 AI 的主要的区别是什么我想那可能是更多科学家和专家需要讨论的一个话题了你看一个 AI 是否具有自由意志的这个话题能够引起这么多方面的讨论甚至可能还引起社会的一些动荡或者变革所以呢我想这个问题是非常有值得讨论的价值和意义的哈

我想现在目前任何一个国家政府对于以上的这些考虑一定是没有做好准备的如果真的到来我们又要做出什么应对呢

但是如果我们今天通过分析完以后我们发现说如果人工智能从原理上就不太可能具备所谓的自由意志那么这个前提条件就不具备了也就是说我们没有再必要杞人忧天了可能我们刚才说的一切推断都成了无源之水无本之木了所以也就没有接下去讨论的价值了所以我正是因为觉得这个问题的意义重大所以我们才会开一期专门的节目来讨论

这个话题 在过程中我会结合哲学 心理学 精神科学 认知科学等多方面的一些研究成果来试着帮大家来分析一下 看看最后我们能得到什么样的结论好 那我们开始正式进入今天的节目如果讨论人工智能是否拥有自由意志 那我们先需要定义到底什么是自由意志

自由意志是在心理上由一个人自己的一种感受到的身体情感智力的这种感觉来共同定义的它产生了一种特定的所谓的整体上的一种叫做感觉的东西自由意志只是我们在各种可能的方案或者决策中进行选择或者决定的这种一种能力最后表现出来的它像一种感觉或者感知我们的选择是属于我们自己的

这种选择不是从外部强加给我们的也不是由我们一种无法控制的内部力量来强加给我们的所以是来自于我们自主选择的这样的一种方式这种感觉将我们自己可以认定为是我们行为的背后的主要原因就自由意志而言这种意义表现为自由意志和选择三个方面

虽然从以上的学术概念听起来很复杂但是我们作为人类自身大家应该也大概都知道自由意志在讲的是什么意思简单明了的说就是我可以自由做选择的一个背后的原因或者启动因素听到这里你可能会问自由意志这东西有那么重要吗咱们先不说对人工智能对人来说这么选的一个东西到底对人有什么意义

你还别说这东西对人类还真是挺有特定的意义的但是我觉得背后有两个原因第一是说我们现在经常有人把自由意志是为人类所谓特有的一种技能或者是我们的一种能力当然尤尔赫拉利会说是人类的主要的特征是会讲故事我们不做过多的分析和讨论

因为以前呢大家会说人类主要的特征是比如会能说话或者能使用工具但是随着我们对这种动物社会的认知不断的进步呢其实我们也可以看到人类的这些特性呢

其他动物也某种程度上它也具备只是说人类可能比其他动物更擅长比如说人类具有更使用复杂的这种语言的能力同理心以及在工具中构建这种技术知识的能力但是一些动物它也会讲话或者发声然后它也会使用一定的工具

但是自由意志这个东西我们可能在今天的动物里面还没有发现它的存在所以这是我们人类特有的一种标识对吧那你说它意义重大不重大呢第二我们今天所谓的社会的一种构建背后其实也主要的原因也是来自于自由意志

就因为我们每个人有了自由意志所以我们才需要对自己的行为负有道德责任或者法律责任也好的这种各种各样的一个责任如果人类我们自己不承认有自由意志的存在我就不需要为我的道德行为负责任了因为这个不是我自己想做的事情这是强加给我的

所以我们可以看到自由意志的存在对于整个社会的道德法制的构建的基础也是非常有意义的存在的我们很多研究也表明说当人们相信有自由意志存在的时候他们会有更多的所谓的社会行为否认自由意志的存在其实是破坏了人类的社会的一个基础所以我们可以看到

自由意志成为了人的一个特有的一个特征以及它成成了构建社会的这样一个最基础的一个要素虽然我们讲了自由意志对人类来说这么重要但是自由意志作为一种感觉

到底它是否存在以及它背后的一个含义以及它的价值和作用这个其实在哲学界早就形成了很长期的一种讨论或者我们讲的争论我们首先来看一些比较极端的观点认为自由意志是存在的且是超越外部影响或这种意愿的限制这样的一种能力

那这个是谁的观点呢 这就是笛卡尔的观点我们在上期节目也谈到过 笛卡尔这种我思故我在的这种想法就形成了身体和心灵的这种二元论它主要区分的是这种物质的身体和这种非物质的这种心灵是两个完全不同的这样的一个实体那心灵是一种思考的实体 那不会受到任何物理空间的这种约束和限制

且自由意志自我意识完全是主观的而跟客观的身体是没关系的但是这个身体是机械的是空间的是物理的它不需要受到这种物理定力的约束这种就形成了一种所谓形而上的这种自由主义的一些思维

为什么说这种思维极端一点呢就是他们认为呢完全这种意志啊或者意识啊完全是主观的是非物质的那它可以凌驾于我们所谓的这种大脑的运转机制啊这种生物性或者物理性的因果关系之上啊那无视啊他们之间的关联关系

那你可能认为随着科学的发展那是不是像笛卡尔这种二元论已经过时了或者太古老了呢其实也没有了比如现代的澳大利亚认知科学家大卫·查莫斯就曾经提出所谓的叫机器意识或者叫人工意识的这样一个概念

那查伯斯最出名的是在 1995 年的一篇论文所谓叫做《面对意识的问题》以及他在 1996 年的一个著作叫做《意识心智》中阐述了他所谓的这种意识难题那他的主要观点就是认为意识就是来自于人的主观感受或者主观体验那意识是人的一种基本的属性那在本体论上呢他独立于任何已知的所谓的物理属性

他认为尽管我们可以解释大脑是如何处理信息的但我们仍然无法解释为什么这些物理的处理过程会产生主观的体验

所以即到我们今天科学进步的今天我们了解了大脑的很多的运作机理但是仍然有科学家认为是说这些产生处理的过程和我们产生主观体验这种自主意识的产生是没有关系的所以查莫斯将他的观点称为叫做自然主义的二元论

自然主义是他相信所谓精神状态是自然的出现在人的大脑中的而二元论是因为他认为精神状态在本体论上不同于人类的所谓的物理系统并且他认为这种精神不能还原为物理系统同时查莫斯还提出过所谓类似哲学僵尸的这样的思想实验

他用来说明如果未来某一个系统可以完美的模仿出人类的某种行为或者模仿出这种自主的意识但也不意味着他就具有了真正的所谓的意识体验那如果按照这种观点来看呢

那这个自由意志的专属权呢就已经牢牢的被控制在人类的手中了哈那这玩意只有从阳台里带出来的才可能具有所以呢某一天你即使再造出更厉害的或者再厉害的这种人工智能来那从查莫斯或者迪卡尔的观点来看呢那他也是无法作为形成这种自由意志的因为那个完全是一个主观的东西不是你作为一个客体的客观能够评判的

那这样人工智能也就永远无法具有所谓的自由意志了而这种二元论观点的如果走向另外一个极端同样我们也会得到类似的结论是说人工智能是无法具有自由意志的或者说那种观点会认为自由意志这种东西根本就不存在那人甚至都不具备自由意志所以呢自由意志这个说法根本就不成立那么 AI 也就不会存在了那这种观点是什么呢这种观点就叫做决定论

那决定论的这种哲学思想是认为中宇宙中的每一件事情都有这种先前事件的这样因果关系所决定的所以按照决定论的这种观点呢就不存在自由意志这样的东西所以呢我们一切所做的这个行为都是因为以前的某个原因所导致的那世界中的一切呢都像是一个巨大的类似这种法条机制来一样运作啊

那我们所谓的这种选择那也只不过是世界运行机制的一部分那决定论的这种观念和这种因果的原理是密切相关的也就是说没有原因就不可能会有结果

一种决定论是说我们可以用类似所谓自然法类似比如像万有引力或者某一种明确的构建方式比如像类似计算机程序来证明某件事情必然存在就像我们通过物理学定力计算或者说计算机程序运行我们某一个输入那就必定会得到某一个确定的结果

所以这样的决定论通常可以代表那种特别详细或具体的推导的形式比如在我们生物学或者物理学等等的学科中就特别强调这种自然规律和因果推导的一个关系强调了这种因果链条中的明确的表述以及这种因果的必然性

当然也有一些内容决定论者他们也认为是说是可以继续推测或者假设来论证继续存在的只要存在一些事实的证明或者相关性的关联也就可以来证明这件事情是有因果关系的比如在哲学或者宇宙学的领域很多的所谓决定论的前提都是基于假设前提或者理论模型的框架出来完成的所以这种方式在这种未验的领域是非常有价值的

大家听起来这种决定论是不是有点像我们所谓的叫做宿命论就是命运来决定你的一切你的所有的选择都是命运来决定的那这种也可以叫做或者叫普遍决定论或者叫预定论所有的事情都是命中注定的

那一切都是预先控制好的那也就是说那我们今天意味着宇宙中每个事情的发生以及我们人类的每个决定那都是在之前就已经给出了一个必定的一个结果或者一个走向但这个我想呢也是一种比较僵化的这种行而上学的一种原则哈

他基本否认了我们作为人的自身的经历以及头脑的这种运作或者是我们头脑的自主思维以及我们人类对于世界的某种改变的这种影响啊那如果一切都是上天注定的那我们存在的意义又是什么呢那由于决定论的讲法和人类拥有自由意志的这种讲法是互斥的而且是无法相容的也就是说你如果站在天平的这一段你必须要否定那一段啊

所以如果你承认世界上的东西都是因果彼然发生的那你就无法承认人类拥有自由意志那于是呢哲学家们为了总结这两个概念之间的关系所以呢把他们这样的一个关系就提出了一种新的理论叫做不相容论啊也就是说确定性的宇宙的存在与自由意志的存在呢就是完全一个相反的一个矛盾这就是所谓的不相容论者

如果你认为不相容论者只是哲学家的思考,那你就错了事实上有很多神经科学家也能所谓证明自由意志是不存在的比如说美国神经科学家本杰明·利贝特他在 1980 年就通过核四共振来实验证明了人类是没有自由意志的因为他认为意识不过是大脑的一个反应的结果那意识也是人的基本的生物的属性

而且黎贝特和其他几名科学家都证明了他们主要是通过这种脑雾的这种扫描的观测发现这很多这种被参与的测试人员他们在产生意识之前大脑就有了活动也就是说事物在运行到进入他们意识之前就已经被决定了

所以决定的这种意识是在决定产生之后所以才产生的这句话有点拗口就是说我并不是由意识来决定了我要决定怎么如何去做决策而是说我先已经做了决定而后才产生了意识

利贝特他们是到底怎么证明的呢因为他给很多受试者做了一个实验这个实验的名字其实就是说你想什么时候按下按钮你就可以按下按钮根据这个实验来去观测人们脑中的这种活动的一个情况他发现这些人意识到在他们做出决定前的半秒前

脑中的运动的皮质就已经兴奋了起来后续研究将皮质下脑区的这种兴奋以及出现知觉意识的这种的时间可以拉长到整整的 7 到 10 秒钟

那新的研究也发现根据一群 256 个神经元的这种活性能够让科学家在受试者中知道在做什么选择之前就能够得到预测而且这个预测程度在 80%这个是不是有点听起来像变魔术是这种心电感应就是说你在决定之前别人就可以预测出你的预测

另外一位著名的神经生物学家叫做罗伯特·萨博尔斯基他在最新的 2023 年的一本图书叫做《决定没有自由意志的生命科学》这本书中他也指出许多看似人们自由选择的行为实际是受到了遗传大脑的这种化学物质或者环境因素或者过往的经历的一些深刻的影响并没有所谓的什么真正的主观因素

由此我们可以看到人类的这种智能意识也好都是由复杂的生物学机制所支撑的这些机制也包括你的基因大脑的结构功能以及环境因素等等的这些各种因素所谓相互作用的这样的一个结果你可你此刻所感知的一切的输入

都是在经过大脑的各个模块的这种神经网络的加工之后来决定你此时此刻的某种输出在这个过程中也没有一个叫做所谓超我或者自我的家伙来影响所谓的输出结果这些神经科学家就认为从某种意义上来讲人类是可以做选择的或者所以说是一种深思熟虑的这种思考问题

但这也是一种遵守自然法则的一种方式那人类呢就好像一种思维机器但认为说是人类自己做出的决定或者自己做出的选择是不准确的那所以我们才说如果按照不相容论的观点来讲呢人类也就不曾拥有自由意志那人工智能呢那又何必具有呢

或者反过来理解既然自由意志也没有那么复杂那大脑只不过是因为一个输入进来然后基于这种基因或大脑构成的这种大模型在各层之间进行传导计算那这样类似的能力是不是人工智能实现起来就会变得更加容易呢

但前提是我们没法把它叫做自由意志如果按照这种道理去推论那么人工智能也就不用做到任何的自我控制或者判断决策因为反正他做的决策都来自于他之前训练的数据人类的这种行为是基于这种可预测的生物学或者物理学的规律那么 AI 的决策就是类似的这样的因果链条它是基于数据和自己的模型来导致的这样的一个结果

所以人工智能在模拟人类决策行为的过程方面就没有任何的障碍了只需要有足够复杂的这种算法或者数据的支持那就可以实现人工智能也就不必拥有自由意志或者最多算是说人工智能可以模拟出人类的这样的一个决策过程

同样人工智能也就不需要承担任何伦理和道德的审判的问题因为人工智能出了问题都可以归结于它的算法或者训练中的数据其中的问题对于 AI 自己的行为赋予某种责任相当于就是不合理的因为 AI 的所有的行为归根结底都来自于它的数据和训练的这样的一个内容而不是它所谓的这种自由意志

在不相容论者的观点里边 人工智能实现自由意志这条路要不就一头犊子 要不就是一条相对平坦的大道但是事情就这么简单容易吗如果我们能接受没有自由意志的这种决定论的观点的成立那么我们对于教育 法律 宗教 社会政策会产生一些颠覆性的影响

因为传统意义上我们所认为人的这种道德责任或者行事责任那就需要重新定义因为我们看到一些不相容论者其实他们对于犯罪的这种行为其实并不是主张所谓的惩罚而是倾向于所谓的治疗因为他们认为犯罪行为应该被视为一种可理解的并可能治疗的一种后果而不是一个需要惩罚的道德过失

所以按照不相容论的观点我们就不能对人进行道德评判因为我是这么做是由老天爷决定我这么做的是我的基因和大脑自身的结构决定我这么做的每个人的决定因子又不同凭什么我应该具有和别人一样的道德标准或者当我犯罪了之后这个东西是我大脑中的固有结构以及我的基因让我这么去做的我自身是没有错误的

所以这种观点就引发了不管是在哲学界伦理学界法律学界激烈的一些讨论因为批评者认为他们对于自由意志的定义太过狭隘这就是我们在节目开头说的自由意志其实它不简单的跟我们的个人行为会有关系其实它还跟我们现在整个社会的道德的法律的运行的体系或者规范是有关系的

也就是说如果你站在不相容论者的这样的一个范畴内宇宙的真实存在和人类的自由意志之间你只能必须要选择其中一个但是如果你一旦选择了不相容论者我们今天的讨论就可以结束了因为你选择任何一个都可以决定人工智能不会拥有自由意志因为你选择了如果人类才能有自由意志人工智能不是人类所以

人工智能不会有自由意志如果你选择了这种决定论者也就是说宇宙的所有的存在必然是由因果关系所导致的人类不存在自由意志那自由意志这种东西也不存在于任何的事物中那所以同理人工智能也不会拥有自由意志但是呢我想我们的结论应该不是这么简单粗暴因为呢对于不相容论者

其实呢背后还有另外一种方向叫做相容论者那相容论者呢看似调和了二者之间的矛盾哈因为他们认为呢确定性的宇宙和自由意志之间呢并不存在完全的对立也就是说在确定性的世界中我们人类能够自由的决策和判断和行动是有可能的

但是听起来这种方式呢挺中庸的哈就是有点像霍西尼啊就两边我都认同但是呢我们可以说是相容论者呢现在也代表了自由意志的一种主要的观点那相容论者呢经常把自由意志定义为说我们人类自己呢就可以根据自身的一些动机啊进行自由行动的判断和选择那这样的话自由意志的定义呢就不简单的依赖于所谓的

不相容论者那种所谓因果决定利用的这种真假这种观点呢还使得自由意志呢竟接近于自主也就是按照自己的规则生活的能力而不是屈服于外部的某种统治或者压迫来去做的判断和决定那相容论者呢既承认自由意志的存在也承认决定论的存在这种观点从古希腊的斯多噶学派中就诞生了

最新的认知科学家和哲学家丹尼尔丹尼特在他的著作叫从细菌到巴赫再回来冒号心智的进化这本书中就探讨了心智的起源和进化他强调心智和意识的形成是进化论的一个结果而不是上帝设计的产物

他认为从简单的生物比如这种细菌再到复杂的新知识种比如人类的大脑这一切都是可以通过自然选择或者演化过程来解释的从底层向上的这种逐步的构建是这个过程的非常关键的这种因素那意识的形成也并非一蹴而就的而是逐步从无意识的过程中逐步演化进来的

人类的语言就代表着一个非常重要的转折点它使得复杂的思想的这种交流和存储成为可能最终使得人类具备了超越简单生物的理解能力人类的心智的独特性另外还来自于文化的进化语言艺术和技术是文化进化的重要工具

大家都知道可能人类的进化是基因所以他还强调了特别讲摩音最近在国外非常流行的 meme 作为文化基因的这种代表它是作为文化传播和积累的基本单元它对心智的进化也起到了非常重要的推动的作用

索尼丹尼特的精致的进化分为几个重要的阶段第一个就是生物学的进化阶段就是从这种细菌到复杂的多细胞生物第二个是认知的进化的阶段就是大脑逐步具备了感知的这种复杂的感知和反应能力第三个就是文化进化通过模因心智具备了这种反思和创造能力

所以他认为说我们说的自主意识或者自主意志也好那并不是一种神秘的现象而是一种功能性的工具它只是为了满足生存而需要而演化出来的是我们这个认知的一个用户的界面用来简化大脑中复杂的计算的过程

丹尼特也将心智和人工智能进行了比较他探讨机器是否可以拥有意识他认为当前的人工智能虽然在功能上接近于人类的心智但仍然缺乏理解能力人工智能的发展为理解自然心智的工作机制提供了重要的启示虽然说人工智能可以模仿但不等于它已经拥有了所谓人类的这种心智

他也强调了特别反对的这种传统哲学者能心智身体二元论他认为心智的所有特性都可以通过物理的过程来去解释

他批评将意识视为不可还原的某种神秘的现象这种普遍的这种一些神仙二元论的观点那提倡用科学的方法去解构和理解意识那基因呢是生物学进化的基础而魔因是文化进化的基础也是就是文化的基因哈

另外呢他还将心智进化呢比作这种像塔楼上旋转的一圈一圈的这种楼梯啊我们的这种心智的进化就好像一个在复杂的楼梯中这个逐步攀登的过程啊每一个行程往上走就是相当于往上走了一层的这样一个概念啊

从丹尼特的观点出发他就认为人工智能有机会通过模仿人类的进化来去实现自由意志但并不需要在这个过程中添加特别什么神秘的或者什么类似于灵魂的这些成分

但是对于那些批评相容论的来说呢相容论呢这种既要和又要的想法呢有点像通过窃取自由名义来去掩盖其潜在的决定论就是说批评相容论的人认为他们这种观点的背后还是决定论的观点只不过呢表面上掩盖了一层所谓的这种以自由的精神啊或者是自主的意识的这样的一个主观的一些意向

从而制造了一种逃避的这种泥潭有点像玩文字游戏那无法让我们在所谓的是非面前判断哪些是所谓的自由意志而哪些是决定论的因素这个就是我们总结一下所谓这种相容论的观点以及对它的一个反对意见

所以这样的话我们前面对于自由意志来讲我们大概提了三种观点一种就是由大卫查莫斯所比较代表的这种自由意志是人类独有的那极其不可能具备也就是说就算你看起来具备那也不算因为你人工智能不是人所以你不可能具备

这是第一种那第二种呢是罗伯特萨布尔斯基所谈的这种不相容论的决定论的观点他说自由意志这事就不存在人类也没有自由意志那都是可以通一些通过一些可推导的工作原理那自由意志本身这个话题就是个伪命题根本也不存在所以呢那 AI

当然也就可以获得类似的这种推理或因果的转化能力它就类似具有这样的一种能力但这个能力也不能叫做自由意志这是第二种那第三种呢就是丹尼尔丹尼特的这种相容论的观点人类的自由意志是可以进化而来的那么 AI 呢虽然不能完全具有但是它也可以模仿人类这样一点点的去获得这样的一些能力所以这个就是三派的这个学术观点的主要的一些论据和论点

那争论到这里各派观点争执不下的时候那我们怎么处理呢所以呢我们是不是可以换一个角度去来理解这个问题哈就是我们看一下或者分析一下自由意志这个所谓形成的前提条件是什么看看这些前提条件是不是能被实现如果这些前提条件如果能被实现那可能自由意志也就可能被实现哈

所以这样的话我们可以总结一下自由意志所谓形成的前提条件这里面大概可以被分为三类一类是比较基础的就是在形成自由意志之前我们自身要有所谓的自我意识如果一个人没有意识他在面对复杂道德困境时就无法进行权衡的决策

还有另外一个就是主观体验就是如果没有我们面对一些事情时候产生的这种类似比如快乐或成就感的这种主观体验那也是无法形成自由意志因为我们的很多事情并非是这种纯理性的这种分析一定是来自于自己的很多体验性的分析这是第一类比较基础的所谓的自我意识和主观体验

第二类就是功能性的那就是说在我们形成自由意志的时候因为我们要去分析我们要去思考人类必须对于信息和知识有一定的获取能力执行力和行动能力也就是所谓我们能够做自主选择的能力如果一个人比如甚至都不知道某种选择的存在比如我们在职业或生活的各方各变的时候那他其实就没法做到自由选择所以他得首先知道这个事他才能去选择这是第二类

第三类就是自由意志需要一个开放的环境选择那么假定说一个被囚禁的一个囚犯可能他也有了意识也有了主观体验也许他能够获得知识和信息可是他整天被困在牢房中那他的整个的选择的余地就会非常有限

所以这样的话我们综上所述就构成了自由意志的三层的前提假设就第一是要有意识和主观体验那第二呢是要有获取知识和信息的能力第三要处于一个开放的环境选择那人工智能对于如何解决功能性的问题以及开放环境的问题我相信来说是相对得心应手的也就是我们的第二类和第三类那这里边呢我们也不必做过多的讨论

蓝点就变为最基础的两个实现要素就是意识和主观体验那这个二者呢他们和大脑呢就好像构成了一个计算机设计中的类似的这个我们叫做 MVC 架构啊模型视图控制器那大脑呢好像就是那个模型那主观体验呢就变成了那个所形成的视图而意识呢就是控制器

如果人工智能的大模型类似于大脑,那我们主要就看如何能够形成所谓的自主体验和这种自我意识到底是如何被设计和形成的那我们先来聊一点比较难度低一点的,就是关于主观体验这一点其实我们现实中有很多实例来证明说人工智能可以模拟或者部分的模仿人类的一些主观体验

比如说我们聊天机器人里边可以用类似上下文模拟这种了解这种对话中的一些情感比如说他可以做出一个对应的回应比如可以安慰你同情或者鼓励通过这种分析语音面目表情或者文字来判断一种用户的这种情绪比如说悲伤愤怒喜悦这个就是我们已经知道的我们所谓的人工智能去模拟的一些所谓的主观体验的内容

这些内容已经用于一些所谓的心理的健康的监测或者人机交互的应用之中在游戏里边这些一些 NPC 也可以模拟角色的一些动机情绪和行为让他们看起来好像也是挺有主观体验的例如任天堂的游戏塞尔达中的林克他就会根据天气的一些变化来做出一些特别的反应

另外我们可以看到现在目前有一些所谓的数字伴侣就是数字人的这种伴侣可以根据用户的输入来构建一些个性化的对话体验他们就能表现出对人的一些关心或者理解的这样的一些态度 AI 现在能够创作小说绘画唱歌做视频这看起来都像是一种创意表达所以它也表现出一些某种类似具有这种灵感或者主观体验的一些表现

这些模拟是不是就代表着人工智能已经具备了人类的主观体验能力呢这里我们可以引用一下最新的诺贝尔学物理学得主杰弗辛顿在今年的 2 月份在次活动中所发表的重要演讲在这次的演讲中他其中给到的一个结论就是说人工智能系统已经具备了主观体验

他认为大多数的人仍然坚持说 AI 与人类是存在一些根本差异的但他们却忽略了所谓的主观体验的本质的理解他就说到当我们使用主观体验这个词的时候并不是在描述某种内心的世界或局场而是在尝试通过讲述现实世界中的某种状态来解释我们的感知系统所提供的信息

那如果这些信息是成立的话就能解释我们的感知系统是如何工作的因此呢关于心理状态的有趣之处并不在于它们是某种神秘的内在事物而在于它们是对于世界的某种状态的假设如果这些假设的是成立的就能解释我们大脑中所发生的事情这是很正常的这不是出了什么问题

所以当我说我们在某种眼前出现了比如类似粉色大象的这样的主观体验的时候我并不是在描述某个内在世界或内心剧场的事物而是说我在感知系统所提供了某些信息而这些信息与现实世界中的情况是相符的那我们的感知就是有效的那这种粉色的大象并不是用某种神秘的物质所组成的它而是假设的一个事物

它是我们假设在真实世界中存在的一种事物这就是为什么我们所描述他们的语言通常和描述世界中事实的事物的语言是相同的因此杰布辛顿认为如果现实世界中真有这些粉色的大象漂浮在我面前那么我现在的感知系统能够提供的信息就是正确的

那现在呢以一个多模态的聊天机器人为例他有一个机器人的手臂和摄像头并经过训练能够识别物体如果你在他的镜头前放着一个冷镜然后把一个物体放在他的背面并告诉他

指向这个物体它可能会指向一边而不是正前方当你告诉他实际上在他面前时他可能会说我看到的物体就在我面前但假设他有一种主观体验认为说物体在那边那这时聊天机人会说会用我们使用主观体验这个方式来表他他所表达的一个情况并没有什么东西是缺失了

所以在这种聊天机器人中我们能够看到他的感知系统出错时他可以通过描述让感知系统给出的这些结果现实世界中所具备哪一条件来告诉你发生了什么当然有些事情是无法通过这种方式处理的比如不可能的三角形但在大多数情况下我认为我们所有人对于心智的看法都是有错误的

我们一旦摒弃了这种错误的看法就会意识到说人工智能其实和我们人类并没有太大不同只是他们是数字化的因此他们会永生而且比我们聪明的多而且很快会变得比我们聪明所以从主观体验来说我们也大体上认同辛顿的说法

如果未来结合更多的感官的能力的话也就是说对物理世界的理解那么大模型对于实力世界的认知的能力的增强我们相信说人工智能在主观体验这方面是完全可以做到的刚才我们谈了自由意志实现的基础性前有两个一个是主观体验而另一个就是所谓的自我意识如果 AI 真的能模拟出人类的自由意识的话也就是说我们其他条件也就具备了那就等于人工智能已经实现了自由意志

同样意识和自由意志一样也会出现不同的理解一种结论就是说意识是人类的精神属性人类独有这个问题又被终结了我们不去多讨论而另外一种学术认为说意识也是一种生物属性是客观存在的如果是生物属性也就意味着我们可以通过某种神经科学为意识找到一些合理的解释再通过机器模拟神经科学的方式来得到人工的意识

让这个人工智能不用迷失在人类的这种类似崇高的自我的这种困惑中另外呢我们可能要解释一下就是说智能和意识这个两个还是有区别的因为我们说人工智能拥有了某种智能但不代表就是他已经拥有了意识如果不说人工智能技术对我们人类来说呢这个智能和意识是不是一回事呢

1990 年的时候心理学家一些研究发现可能一个人的智力水平是足够的但是这个人仍然可能无法进行理性的思考或行动

所以加拿大心理学家基斯斯坦诺维奇首先提出了所谓叫理性障碍的概念他认为说智能和理性是不同的概念智能与认知能力相关而理性的意识则更多是关注于思维过程的优化和决策过程这里面就包括批判性思维概率推导科学思维以及避免这种思维偏差等等

同样美国心理学家雷德蒙尼克森也强调了认知过程的复杂性那就包括了知识获取信息处理问题解决和创造性思维等等他们二人都强调了人类的认知偏差在人类思维和决策中的作用人们在处理信息和做决策时容易受到各种认知偏差的影响这就可能会导致一些所谓非理性的行为在这个领域可能最著名的就比较属于刚刚去世的诺贝尔经济学家获得者丹尼尔·卡尼曼

他的行为经济学和心理学的领域研究揭示了人类认知偏差和决策过程的非理性的一些特征

特别在这个思考快与慢的这个书中呢他详细就讨论了人类的两种思维系统一是自动的也就是直觉性的思维负责这种快速决策判断那系统二呢就是更慢的有逻辑的更需要努力的这种思维过程负责复杂的推理过程那卡尼曼就展示了人类智能的这种复杂性以及我们在不同情况下使用的不同的认知资源那智能呢

使得人类能够理解复杂的情境创造和使用工具并进行抽象和思维而这种理性和意识其实是基于人的智能的能力从而做出的判断和决策而理性的能够让我们超越直觉的反应以更深层次更系统化的这种方式来去处理我们的反思的能力所以我们现在可以说反思能力是超越人类理性的某种智能它既包含理性又大于理性

那除了反思能力之外呢人类还有一种叫做不思的能力就不去思考一件事啊即使在需要保护思维的一致性的时候那就不去思考一个事而人类能够形容反思和不思的能力都来自于人们的所谓的自己的意识所以是意识使得人类能够意识到自己的存在体验情感并对自身的思考和感受进行反思

所以意识又可以分为所谓的有意识和无意识有意识就是经过大脑思维过程是一种类似仲裁和决策的过程类似卡尼曼的系统二而无意识就是不知不觉大脑过程有点像这种行为模式有点像卡尼曼的系统一

注意这里我没有使用过去大家经常听到的潜意识这个词这个潜意识是弗洛伊德所提出的并大家都广为流传目前的心理学家和精神病学家一般使用无意识这个词而只有可能哲学家和作家开始使用潜意识这个词所以以上都是心理学家为人类智能所打下的基础

如果我们回到要讨论通用人工智能这个概念上我们需要用机器来构建这种类似的意识的形态我们可能就需要让 AGI 或者人工智能拥有这种自我意识首先它就需要有很多这种反思或者不思的能力这个也是我们现在目前业内的最大的一个难点

这个时候我们就要请出很多的所谓神经科学家然后我们看看他们的一些研究成果了很早就有一批神经科学家与人工智能相节远了最早就是像连接学派的由来比如和皮茨合作的麦卡洛克以及影响了洛森布拉特的唐纳德赫布人类的神经的网络的知识也广泛启发了我们最早的一代代的这种神经网络的这种算法

那在人工的神经网络算法中使用几国函数来模拟神经元的输出并使用带有权重的这种输入影响神经网络里面各种突出它就模拟了人类这种分布式的分层的网络结构这种结构是和我们传统的计算机的冯伊诺诺伊曼结构是这种存储处理方式是不同的

但问题是神经科学家对人类自身的一些结构原理可能知道的也比较少比如大脑的这个皮质的分层的体系结构脑区域内的反馈和反馈连接多层脑结构的构建模块等等所以就是如果能回答人工智能是不是能模拟人类意识的话那首先神经学家就要回答这些一些比较基础的一些问题

但我们也看到说神经科学家为我们的人工智能也打开了一道门只不过这个门后的这条路显得可能太过崎岖了一点原因是我们人类拥有了一个超级复杂的神经的一个网络的一个系统美国生物学家

杰拉尔德·埃德尔曼就提出了神经群体选择或者叫做理论再入这样的一种说法它也被称为叫做神经达尔文主义它强调大脑中的神经元是通过一种类似于达尔文自然选择的过程来形成的这种复杂的神经网络那人类的意识和认知是通过广泛的神经网络这种互动而产生的而不是靠简单的一些神经元或简单的回路而形成的

所以在 1980 年的美国匹兹堡卡内基梅隆大学的汉斯莫拉维克就所谓提出了莫拉维克悖论

其中他就谈到要让电脑如成人般的下棋是容易的但是要让电脑犹如一岁般的小孩子的感知和行动能力其实相当困难的甚至是不可能的对人类复杂的逻辑来讲对于机器来说可能推理逻辑可能会是更容易一点而对于人类一般的这种认知过程对机器可能会更难

所以这个悖论也似乎在印证着说人类由于经过了历史的这种长期的发展自然进化的过程才拥有了所谓的这种意识所以人类的技能都是通过自然选择而设计而实现的

那他们在进化过程中呢自然选择会保留一部分设计进行改进和优化那一项技能越古老那自然选择所改进的时间就会越多那它背后的机理也会越复杂那机器就难以去模拟和实现而人类所谓的一些高级的推理和逻辑思维能力呢它是在有了人类文明之后才诞生的那它的进化时间就比较短

虽然它可能看起来也比较复杂但是由于它的进化时间短它的机理相对简单所以机器就更容易去模拟所以这条悖论就解释了可能说人脑是由于长时间的进化而形成的所以人工智能就难以模拟的这样一个过程它讲了一个进化和人工智能模拟之间的一个这样的一个总体的关系

那人类的这样的智能的进化也确实经历了一个非常漫长的一个进化过程这就涉及到数千万年的时间跨度从最早 6 亿年前地球上的动物出现进化到 6500 万年前的这种灵长类的哺乳动物这就已经花了上亿年的时间那在这个时期内呢这些动物就已经具备了所谓的一些感觉处理运动控制和本能的一些基本的所谓生存智能

随着灵长类动物的实现大脑就开始展示出复杂这种社会的行为的能力和工具使用和解决问题的能力这个阶段的时候我们可以看到动物的大脑的皮层就开始扩张尤其是那些涉及到高级认知功能的区域比如说大脑的前额叶到了差不多 200 万年前也就是人类的祖先就是智人的出现大脑的体积就进一步的增大了

那更重要的其实是大脑的各部分之间的连接的功能的这种增强和优化这样进化又往前走了一步那工具的使用呢赋予了智人的进化优势因此需要更大更复杂的大脑来协调工具的使用以及他们所需要的很精细的手部的一些动作

那在四万年前呢就出现了人类智慧的现代化特征比如对火的控制啊比如画一些洞穴的一些画啊或者个人的装饰物早期的这种艺术和表彰性的这种思维就出现了从而进化出了这种人类的语言能力

所以人类的大脑的进化不只表现为所谓体积的增长还包括这种脑回路和这种脑沟脑回路就是指大脑表面的这种褶皱脑沟指的是凹槽这样的一个增加的情况这些结构的整个的复杂化使得整个大脑的面积是大大的增加了支持了更多的神经元更复杂的这种网络连接

这就像说我们计算机的算力资源和算法结构都是伴随着整个 AI 的发展也在不断的前进那直到一万年前呢人类的定居和农业的发展才导致了社会组织和技术的显著变化这也匹配出现了各种新的人类技能比如写作呀数学的计算啊

自此就是靠着这套智能体系人类从农业社会工业社会又走到了现在的新型化社会那在这种千万年间人类是能够延续的智能的关键就是我们代代的遗传这些遗传的基因让我们人类的智慧既保留了上一代的特征又产生了新的可能性

但我们上面的讲法其实还有一些所谓社会的进转对于整个人类的影响还有一些文化的演变我们可以看到其实对于如果建立起类似于大脑的这样的运转机制的一个神经网络或者说我们让人工智能到底怎么样去消除人类这样几千年才完成的进化的过程

那看起来这条路就是我们要去让人工智能实现的这样的一个背后的一个路径而且看起来可能现在是所谓唯一的路径也就是说让人让人工智能呢去模拟类似这样的人的一个意识但现在呢可能有几种理论模型啊可以让人工智能可以去试一试哈

那一种的可能呢就是所谓的叫全脑仿真啊通过扫描和映射生物大脑来构建整个大脑模型然后通过计算机设备来去完全的模拟它这种模拟呢就必须得去足够的忠实于原始模型啊也就是说必须跟人脑完全是一致的

瑞士的洛桑联邦理工学院大脑和思维研究就有一个叫做蓝脑的项目通过对普鲁冬的大脑这种电路进行一个逆向工程来去合成所谓的人工大脑在 2004 年的时候这个项目的研究员就曾表示说在大脑中的每一个分子都好像是一个强大的计算机我们需要模拟

数万亿分子的这样的结构和功能才能控制他们是如何作用和这个和了解背后其相互的规则那你就是需要比需要一个比今天可能任何现有计算机都要大的这种数万亿倍或者速度快万亿倍的这种计算机

那如果一个神经行为的生物化学和物理细节都是在所谓分子尺度上去构建那我们需要的这个计算机的这个能力或者算力真的是要成倍的数量级那可以看见这种方法是挺难实现的就是所谓这种全脑仿真的这种方式那接下来就说我们看看能否采用一些综合认知能力的一些处理方式的集成哈

比如说意大利的神经科学家朱利奥托诺尼就提出了一种所谓综合信息理论叫做 IIT 就是 Integrated Information Theory 这种综合信息理论在 IIT 里面有两个关键的概念第一个叫做分化

就是说系统能够产生不同的回头形状态来反映这种外部和内部的一个变化那第二个就是整合系统内部的各个部分要有一种协调的方式来相互作用以便整个系统能表现出统一的行为当一个系统可以在分化和整合两个方面达到一定的水平的时候那就可以找到那个所谓的败值那就可以通过这种方式来产生所谓的意识

但目前具体的应用涉及到 AI 的研发可能这个理论还会存在很多的一些需要实践和探讨的一些挑战我们现在没有找到直接的方法来测量和优化人工的这种处理的系统之间分化和整合的一个合理值虽然目前我们没有办法像做到这种全导仿真

或者是通过这种做到完整的分化和整合但是我们可以把这种方法适用于一些视觉皮层模型来解释一些所谓视觉空间

那这样的话呢我们看两种方法都比较难哈那我们还没有一些我们把一些传统的一些人脑的能力然后我们各种智能或者意识来分别去解决所以这样的话美国心理学家伯纳德巴尔斯又提出了一个叫做全局工作理论空间的这样的一个讲法就 global workspace theory

帕尔斯将大脑看作一个神经元组成的计算机但是它和现有计算机是不同的大脑没有一个负责发号命令的一个中央处理器而是由各种功能各异的分布式的来去解决各个模块有的负责语言有的负责记忆有的负责听觉视觉所以全局工作空间更是一个舞台不同的神经过程可以在这个内容上把这个信息带到这个舞台上那这样的话就成为意识的焦点

同时被大脑的其他部分进行接收和处理这种理论后来发展叫做分布式的智能自主体 intelligence distributed agent 以及后来升级版的这种分布式的智能体的这样的一种

意识神经的计算模型这种神经计算模型呢并通过并行处理来多主体来去实现各主体通过系统来提供全机的工作空间进行相互的通讯所以系统在面对这样的情况下再做出一个决策判断这个很像我们现在谈到的所谓的这种多 agent 或者是这种多模型的这样的一个混合的一个处理的一个模式那在神经科学界呢还有一种叫做预测编码

Predictive Coding 的理论它是基于大脑通过预测和比较现有的经验和未来的预期来处理感知和运动控制记忆等的功能那他认为大脑是不断的去生成外部世界的一些预测信息并通过感觉输入来更新这些预测

但实际的感觉输入与大脑的预测不匹配时呢就会产生所谓的预测错误那这个错误信号呢这个误差信号呢随后被用于调整大脑的内部模型以提高未来的预测的准确这个有点像对模型的训练的这种反馈机制哈那预测编码理论呢启发了一类通过最小化的预测误差来学习的神经网络也促进了这种类似 transformer 和 bird 就原来大模型的这样发展哈

但是这个理论一直存在一些挑战就是说你怎么去确保说你验证的这种精确性或者说你的泛化能力我们以及在智能的这种复杂性可能超出了这种预算步行的范围的时候你又怎么去处理总的来说现在有各种理论来去让我们通过某种计算机的算法来去模拟人类的这种底层的神经网络从而形成这样的一个意识

所以呢这里边呢就涉及到一些整体的一些方案以及我们通过一些局部拼凑的这样功能性的这样的一个组合的方式来去解决这个问题那看起来呢现在目前的人工智能这个道路还很漫长至少对于实现人类的类似的意识来讲啊

也许有时候目前现在像 GPT-01 已经实现了反思能力那是不是说这种反思能力也就相当于实现了某种自我意识的这种基础呢其实我们讲还不能得到这样的一个结论因为反思能力通常是人类能够对自己的思想或行为或决策进行一种自我的审视和评价这种能力确实对人类的行为起到了重要的作用但是它也被认为可能是实现自由一种潜在体现

因为通过反思人类可以分析自己的动机选择后果从而在一定程度上来调整未来的行为只是相比于无意识的这种反应来讲这种能力可能体现了某种自主性

反思能够让人类对面对冲动啊或者自动的反应是能够暂停考虑更复杂的因素我长期的这种目标提供了某种所谓自主选择的可能性但是呢反思能力并不必然表明说人类或者是我们计算机拥有了这样的自主意识或自由意志但反思过程本能指可能只是神经系统和环境条件所决定的啊

从决定论的角度来看反思只不过是因果链的一部分反思并不能赋予人类真正的自由其实反思过程也是由大脑的这种所谓的生理机制或过往的经验所取定的那就意味着说反思只是可能比传统的一些因果关系可能会更复杂的这样的一些即使回到相容论也认为说反思只是强化了人类的自由意志通过反思人类可以选择更符合自身价值或长期目标的行为

比如说我们去控制自己的情绪改变一个坏习惯这些反思能力驱动的它并不是这种非单纯的本能反应所以总体上来说反思能力是人类心智的一个特征它能帮助我们审视自己的行为并做出一些复杂的决策它也好像能够去增加了一些人类的自主性但是这种自由是否是所谓真正的自由意志或者自由意识

那还是要取决于我们之前对自由意志的很多的讨论那反思能力可能更多的是反映了人类行为的某种复杂性而不是所谓的这种所谓自由性或者本能性的这样的一个内容所以我们可以看到说我们今天讨论的这个内容的有点不像科技话题更像是有一些哲学话题或者神经科学或者认知科学层面的一些内容啊

那人工智能到底是否在功能上能够发展出人类的所谓的自由意志那第一呢首先取决于你用哪种哲学观和世界观来去定义自由意志这个术语如果你认为自由意志是人类独有的那么人工智能这种归基生命必然无法获得即使你采用决定论的观点啊去推论啊或者是我们用相容论的进化观点那人类的这种自由意志呢也是得来不容易的哈

我们这些人工智能能够具有学习能力判断能力反思能力虽然能够反省出一些所谓的自主的主观体验能力但是仍然无法构成类似人类的这样的一个意识刚才我们讲了几种方法去来形成这样人类的意识当然我们感觉上距离未来所谓真正的形成人的意识还是遥遥无期的

既然说意识的形成是难的那么对于自由意志的形成那也显得会更加遥远当然我们今天不会无端的去想结论不是说这件事情一定不行但至少目前来看前景不是很明确实现难度也是相当之大的

所以从个人的观点来看我们这代人我觉得不用特别担心这个问题的发生就是人工智能是不是会拥有自由意志或者自我意识的问题至少我的观点是这样的听到这里不知道你的观点到底是什么样的所以我在 show notes 里面发起了一个投票

如果对这个问题感兴趣的朋友大家可以进去发表自己的一个想法我们最后也可以回来总结一下看看大家对这个问题是如何看待的好 今天我们的节目就到这里如果你对节目的内容感兴趣也希望能够评论订阅和转发

The shadow will touch up my mindYou say not yet, not yet, not yetDon't worry 你看着我颠簸划破暧昧摸索而后你看着我任体味穿过曾经肌肤的红颜色 I want you to take me thereYou say not yet, not yet, not yet

don't make me turn the lightthe shadow will touch up my mindyou say not yetnot yetnot yetdon't wanna losingi want you to take me thereyou say not yetnot yetnot yetturn

The lightThe shadow will touch up my mindYou say not yet, not yet, not yetDon't want to lose in 从舌根划过又梦上掩瓦 Woo~

從這根花果 由夢想演我 I want you to take me thereYou say not yet, not yet, not yetYou make me turn the shadow without shut my mind

oh love just take me thereand you say