Deep Dive
What is the 'cave allegory' and how does it relate to human perception of reality?
The 'cave allegory' is a metaphor by Plato, describing prisoners chained in a cave who only see shadows on the wall, believing them to be reality. When one prisoner is freed and sees the real world, he realizes the shadows were illusions. This allegory illustrates the limitations of human perception and the difficulty of understanding true reality.
How does Descartes' philosophy of 'I think, therefore I am' explain human consciousness?
Descartes' philosophy posits that the act of thinking proves the existence of the self. By doubting everything, he concluded that the only certainty is the existence of the thinking self, emphasizing the importance of self-awareness and subjectivity in understanding the world.
What is the significance of dimensions in understanding the world and technology?
Dimensions define the degrees of freedom in movement and the complexity of objects. In physics, dimensions range from one-dimensional lines to three-dimensional space, with time often considered a fourth dimension. Understanding dimensions helps in analyzing how higher-dimensional concepts are projected into lower-dimensional spaces, which is crucial in fields like computer science and AI.
How does the concept of 'dimensional reduction' apply to artificial intelligence?
Dimensional reduction in AI involves simplifying high-dimensional data into lower-dimensional representations while retaining essential information. This process is critical for training AI models efficiently, as it reduces computational complexity and helps in visualizing and interpreting complex data patterns.
What role does dimensionality play in the development of computer technology?
Computer technology relies on reducing high-dimensional data into low-dimensional representations, such as binary code (0s and 1s). This reduction allows computers to process and store complex information efficiently, enabling the development of advanced applications and systems.
How does AI use higher-dimensional representations to mimic human intelligence?
AI models, particularly deep learning networks, use higher-dimensional representations to capture complex patterns in data. By processing data through multiple layers, AI can abstract and understand intricate relationships, enabling it to perform tasks like language translation, image recognition, and decision-making more effectively.
What is the 'dimensional disaster' and how does it affect data representation?
The 'dimensional disaster' refers to the loss of information or distortion that occurs when high-dimensional data is projected into lower dimensions. This can lead to inaccuracies in data interpretation, as the reduced representation may not fully capture the complexity of the original high-dimensional data.
How does the concept of 'dimensionality' help in understanding economic data?
Economic systems are inherently high-dimensional, involving complex interactions between various factors. When analyzing economic data, such as GDP or stock market trends, we often reduce this complexity into lower-dimensional indicators. However, this reduction can lead to inaccuracies, as the simplified data may not fully represent the intricate dynamics of the economy.
What is the relationship between language and dimensionality in knowledge transmission?
Language acts as a low-dimensional representation of high-dimensional thoughts and knowledge. When authors express complex ideas through language, readers must interpret and reconstruct these ideas, often leading to variations in understanding. This process highlights the challenges of accurately transmitting high-dimensional knowledge through low-dimensional mediums like text.
How does AI's ability to process high-dimensional data improve its performance?
AI's ability to process high-dimensional data allows it to capture intricate patterns and relationships that are not apparent in lower-dimensional representations. This capability enhances AI's performance in tasks like natural language processing, image recognition, and predictive analytics, as it can better understand and model complex phenomena.
- 柏拉图洞穴比喻：人类感知的局限性
- 笛卡尔“我思故我在”：主观视角与自我意识
- 高低维度视角：理解世界的新方式
Shownotes Transcript
你所看到的世界是真实的吗?什么是高维世界在低维世界的投影?升维难度越大,而降维却又带来各种灾难为什么人工智能可以在更高维度上实现了人类的智慧?欢迎收听由科技慢慢拍和 IAGC 开放社区联合出品的播客节目我们节目已经做了很多期关于人工智能的话题了
那么今天我们打算换一个角度,再重新理解一下人工智能和传统计算机技术的区别而这个视角也可以更好地帮助我们理解整个世界的表象和现实节目开始的时候,我可能先问你一个问题我们看到的世界是真实的吗?你也许说,你这么问那我肯定回答会不是呢
为什么会说不是呢我想至少对于传统的理解来说我们大概有两种方式第一种理解我们可以称作叫洞穴语言也就是说我们无法确定我们所感知的世界是否是真实的或者是完整的也就是柏拉图曾经提出的洞穴语言
那柏拉图的洞穴预言是在古希腊哲学家柏拉图的《理想国》中提出的一个著名的比喻预言中想象了一群囚徒从小就被锁在地下的洞穴中那他们的脖子和腿被锁链锁固定他们只能面向洞壁而无法回头或移动他们身后有一堆火将他们和后方物品的影子投射到面前的墙上
囚徒们只看到墙上的影子却认为这就是现实他们为这些影子命名并基于影子的变化来构建了自己的世界观而直到有一天一名囚犯获得了解放转身看到了火光和真实的事物起初他会感到困惑和痛苦因为真实的世界的光线刺动了他的眼睛随着时间的推移他逐渐适应了并理解了真实世界的本质
当他回到洞穴时 他试图告诉其他那些囚徒他们所见到的只是影子 而不是真实的世界但是其他囚徒却嘲笑他 认为他疯了其实这个预言就阐述了人类对于现实世界认知的局限性以及知识和真理的相对性其实柏拉图也在用这个预言来阐述哲学家到底是一个什么样的角色
但他认为哲学家就像这些被释放的囚徒通过理性和智慧的真理之光看到了真实的世界而希望把这些真理传递给仍然生活在无知的那些人们而他也体现了我们人类追求真理和知识一个艰难的过程需要勇气和智慧去面对同时他也揭示了对于启蒙和教育的重要性以及
改变人们那些根深蒂固的观念是十分困难的我想这是第一种对于这个世界是否是真实的回答还有第二种理解就是笛卡尔所说的那种我思故我在的哲学思想其实这是一种倾向于主观描述世界的思维我思故我在的这种说法出现在笛卡尔的第一哲学陈思路的书中
迪卡尔试图通过怀疑一切可能被怀疑的事物以寻找那些不可动摇的真理基础迪卡尔开始怀疑外部的世界是否真的存在甚至怀疑自己的身体的存在因为恶魔可能让他产生错觉在怀疑一切的过程中他发现唯一不能怀疑的就是怀疑本身
那即使是怀疑一切他也仍会在思考而思考的行动证明了思考者的存在因此呢他得到了就是我思考所以我存在我思故我在这样的一个结论
那他的整个思想强调了自我意识的存在强调了主体性的重要性也就是个体的自我意识和思考是认识世界的整个的基础那笛卡尔试图证明上帝的存在以及人类灵魂和身体之间的区别也就是我们所谓的身心二元论人类是心灵和身体的结合体
所以我们可以看到在笛卡尔的这种思想观点里边体现的是自我意识和认识论所有讨论的一个最早的一个起点后来的哲学家休默也有类似的观点说人类心灵中的一切素材不管是简单的还是复杂的不管是具体的还是抽象的都无一例外来自人的感觉经验
所以我们可以看到说在第二种理解里面更多的是一种用主观思考的方式来了解世界我们中国人大多都是唯物论的现实主义者今天节目里面我们要谈的肯定也不是以上这两种认知而是我对于世界的第三种理解就是如何从高维和低维来理解世界以及用这种视角来看对计算机技术和人工智能技术在其中发挥的作用到底是什么
首先我们还是要了解一下到底什么是维度维度最经典的使用方法其实是体现在物理学和数学中大家都知道空间概念吧经典的物理学理论里面表述一维空间是一条线线上的点的维度就是一维的因为这个点它只能沿着线的方向来移动从前到后或者从后到前二维空间是一个平面平面上的点的维度就是二维
这个点有两种移动方式从前到后 从后到前或者从左到右 或者从右到左所以它是两个维度的这样的不同的方向移动三维空间就是一个立方体在立体空间中的点那就是三维的而我们人类就生活的物理世界就是一个三维的世界在物理空间中的任何一个特定的点我们可以认为这个点就是三维的
那它可以按照不同的方向去移动它增加了一个从上到下的这样的一个维度所以我们可以看到上下左右前后有这个三个方向的移动来表示这个点的移动
所以维度就是指物体上运动的点的自由的度数换句话说就是说维度是被定义为在被约束的对象的点的位置所需要的独立的参数和坐标的数量我们讲一维只需要一个坐标轴就可以完成而二维的平面我们需要 xy 和两个坐标轴来完成而对于立体空间我们需要 xyz 三个轴来完成
既然我们人类生活在立体的空间中这个空间是一个三维世界我们人类自身就是那个点所以我们就是三维空间的生物如果在物理的空间上加上一个时间维度也可以被理解为四维但是时间的维度与前面谈到的三个空间维度是有所不同的因为它只有一个移动方向也就是说我们时间上只能向前移动而无法往后退行移动
所以四维空间就构成了所谓的时空体系通常我们人类所能感受的最多就是这个四维的时空了这个也几乎成为大家公认的一套规范和理论当然在数据体系下可以构建出更多的维度那就是说所谓的这种叫做超立方体
那这种可以体现出他的思维比如在电影的星际穿越的结尾那主人公库珀就进入了这个所谓的超立方体那导演诺兰嘛给我们展示了一个非常可视化的这样的一个思维的空间那他可以在四外空间中进行一个穿梭当然了也有人采用各种理论构造出了更多的维度空间
这个我们不是很懂当然就没法再去细聊了这个也不是今天的重点把维度概念玩的最溜的人当属刘慈欣了在三体小说中就曾经多次提到关于维度的一些桥段
第一个就是在三体小说中提到了三体人将质子从 11 维展开至 2 维然后造成了一个超大面积的面并且在这个面上能够刻上电路然后最后再折叠成 11 维然后将这些质子发送到地球来控制地球的科技发展这个体现了维度折叠的这样的一个厉害的程度啊
第二我们可以看到在三体里面第三部的死神永生中里面提到了蓝色空间号的人进入到第四维度的这样的一些故事刘慈欣给我们展示了她所理解的这样的高维宇宙到底是一个什么样的景象让我们来听一听小说里是怎么样描述这个桥段的在三维世界里人类的视觉面对的是有限细节
一个环境或事物不管多么复杂呈现的细节是有限的只要用足够的时间依次观看总能把绝大部分细节尽收眼底但是从四维看三维时由于三维事物在各个层次上都暴露在四维视野中原来封闭和被遮挡的一切都平行并列出来比如一个封闭的容器
首先可以看到它内部的物体而这些内部物体的内部也是可见的在这无穷层次的暴露并列中便显露出无限的细节
小说中第三个大家更为熟悉的场景就是我们所生存的太阳系遭受到了黑暗森林的打击也就是二象搏的降维打击整个太阳系被二象搏最终变成了一幅二维的平面化太阳系里的一切物质包括地球人类都变成了二维平面中原子级的展开图这就是所谓的降维打击
降维打击这个词很快就在商业领域中得到了快速的传播它其实用来形容某种创业上的商业思维或者用创新的方法对传统的一些商业方式进行了颠覆式的影响一些拥有先进的思维方法或者高端技术的群体能够直接进入到一些低端的技术领域的群体然后对后者形成了碾压式的打击
那降维打击并不是说简单的持强凌弱一大气小而他们更多是从思维认知技术各个层面超越了这些之前的人们所形成的一种能力上的提升所以当这些高层次的思维形成之初的时候很多人是根本认识不到的也并不了解背后的原因
所以这也是我们经常所说的大多数人是从看不起看不懂到追不上当你意识到这种高危思维的时候却发现已经市场饱和了没有太多的生存空间了所以我们说技术的差距是可以被看到的但是这种思维的差距往往是看不到的那降危打击对手就意味着自己要有更高的维度自己要先升危
提高前瞻性 站在一个更高的维度 更多的空间思维来看问题当你具备了竞争对手所不具备的某种优势的时候呢这样你才能够自降维度 再回到这个市场中进行竞争那以这种压倒性的优势而为自己获得胜利
当然商业中的这种降维打击和小说中的外星人毁灭性的打击还是不同的我们谈到商业中的降维打击更多的是一些对新老行业的一些替代对老行业来说也不能说是完全灭绝的比如说当我们利用电子购物往上商城的时候也不能够完全取代线下的超市
那有了数码这种摄影领域的手机拍照呢也不见得能够替代原来像单反这样的专业的摄影器材领域在真实的现实世界中人们所谓的这种思维升级呢其实没有那么容易也没有几个人能够做到真的就算做到了可能有时候也是来自于所谓时代的红利或个人的运气所造成的
并不像他们自己所标榜的那样是思维生为而带来的益处一个低维的生物其实是很难理解高维世界的所以在这里我们还要理解另外两个概念一个叫做降维展示另外一个叫做维度灾难我们首先假定高维世界是存在的
我们能够看到的高维世界更多的是高维世界通过在低维世界的一种展示我们举个例子比如说我们想画一个所谓的三维图形我们是在纸上画一个纸是一个二维的而物体是三维的所以我们在二维平面上其实展示的是三维物体的一个投影
当我们试图去理解所谓四维物体时我们也只能通过它在三维世界的投影来理解所以我们看到电影中的画面其实就是构造了一个用三维世界构造了一个四维世界的这样的一个景象降维展示更多的将信息从高维的空间变成一个低维的空间
在低位的展示时候必须要尽量的保留原始的这些三维的一些信息以便我们从低位的信息还能够还原回高位信息所以这个难度是比较大的这个大就会带来所谓的第二个概念就是密度灾难
大家可以感受到说我们试图用低维的方式来理解高维的时候由于低维的这些所展示的能力指标或者描述本身并不能很好的去描述高维世界所以它就可能会带来一定的失真让我们感觉到它跟真实世界是有偏差的
也就是说你在纸上画一个三维图形画的再巧妙模拟的再精确但是和我们真实的所能感受的三维物体可能还是有差距的
所以我们可以看到在我们日常生活中很多高维世界在我们低维世界的投影它可能会投入它的不同的所谓的维度或者侧面或者一个视角所以我们可能感受到的就总是错乱的或者相互这些投影之间是不联系的我们很难能够直观的感受说这些投影它们在一起是一个能够还原回更高维度的这样的一个事物
所以这个就是所谓的一种叫做维度灾难那通过这些维度的解释让我们再回到开篇最初的那个问题我们看到的世界是真实的吗所以我们又有了第三种解释也就是说由于我们所看到的高维世界给我们提供的是在低维世界的一些展示
由于采用了降维的方法展示的方法带来的维度灾难的问题从而导致我们离距离真实了解的这个高维度的世界是有差距的所以我们所理解的世界或者认知的世界可能是不真实的这里不真实呢其实代表不代表假而代表是说它是不够完善的不够完整的理解不够透彻的
那因为维度本身的代表事物的复杂度就像我们刚才说在物理空间中点它到底有几个运动的方向而我们所生活的真实的世界它也是复杂的比如我们经常谈到的文化经济种族国家世界上其实每个人的不同思维会有不同的行为其实我们说这一切就代表了一个更高维度的世界这个维度的世界是代表它背后的复杂度而不是指它的物理空间
而我们每个生活在这个世界的个体那又仿佛生活在自己所存在或者理解的这样的一个低位世界里面当我们想要了解和理解这个世界的时候呢我们只能通过一些低位度的特征来展示和理解也就是说我们自己能够感受到的只是这个高位世界在低位世界的这些投影可能这样讲有点太复杂了我们举几个例子大家可能就会明白了
我们先说一个最直观的那就是世界地图当你看我们国家发布的世界地图的时候你会发现说俄罗斯的面积怎么那么那么大比中国要大很多很多事实上呢俄罗斯的国土面积比中国大呢不到两倍但是我们在地图上看你会感觉到差距是非常大的
其实这是因为说我们做地图的这种投影的方式所带来的这种偏差因为地球它是个球形当我们去绘制地图的时候我们只能用一种投影的方式比如现在用以赤道中间线的这种追星投影的方式来展示地图所以越靠近南北两极它的面积放大的就会越大相当于是一个平展开的这样一个概念
事实上这种球体的表面是无法展成平面的这种曲面的我们就好比说你去剥一个橘子皮你再用怎么把这个皮剥开你可能没法把它剥成一个完整的平面如果你真的把它变成一个完整的皮片那个皮就会碎掉了
那么地图的投影就始终在解决这样的矛盾这时候可能要用一些适当的数学手段把经纬度的线进行拉伸或者压缩于是产生了投影的变形其实这就是一个三维世界在二维世界平面的时候投影所造成的问题
那地图的这种变形就体现在对于国家的面积在于地图上的直观表述和真实的面积之间是有很大的一个差距的而且现在无论用哪一种投影方式绘制世界地图可能都存在一定程度的变形只是程度大或者小的问题只是在地图里面那在经济学中其实我们可以说经济运行它本身是高微的它是一个复杂的一个世界
而我们通常了解经济的数据的时候我们是通过一些宏观的一些数据图表走势来理解目前国家或者世界经济运行的一个情况而这些经济指标和股票市场的涨跌更多的好像是一种把真实的经济环境从高位到低位的一种转换我们试图通过这种宏观的经济指标来理解
整体经济的运行情况但事实上还是站在低位看高位这就是为什么大家老说经济学家的预测不是那么准确或者这些指标统计数据和我们真实的感受会有很多的偏差那就是因为我们其实所理解的这些指标只是一个
高阶的或者高维的经济运行环境在低位上的一种展示当然它就会有偏差它就会不准确它受各种各样的复杂的因素所影响所以我们可以看到对于为什么股市大涨但实力经济还不好那经济学家好像讲的头头是道但这些预测好像永远也猜不对结果所以在经济学也存在这种高维到低位的转换
那我们再回到说语言和知识界的领域那如果说我们人类的思想和知识或认知本身是高维的那我们所用来描述这些认知的所谓的文字和语言就是低维的那作家呢总是把自己深层的思想或者知识采用能够所描述的有限的文字和语言去表达
那这些听众或者读者再去解读这些文字来反向从低维再升到这些作家或者这些哲学家的更高的维度来理解他们的观点的时候也会出现偏差这就是为什么也会出现说一本书虽然作家每个写的字大家看到的是一样的但是每个人所理解背后作者所体现出的含义或者它的深度是远远有差别的
我们可以这就是认为是一种从低维还原到高维的时候的一种复杂或者是难以理解的部分那哲学家维特根斯坦说过语言是思想的边界那确实是边界因为我们说一个低维的这种投影当然不能超出高维物体的本身吧但语言呢也不能代表思想本身
所以目前我们去了解世界或者学习知识的手段目前主要还是通过这种预言的角度所以这种方式本身是一种低位展示所以它也是低效的
因为我们真正在语言的话我们看到的是整个的语法和词汇那背后要去理解他的语意就很困难然后再加上呢他讲这些话和文字的时候还有他的上下文的语境所以呢如果我们真正的能够理解一个知识或者思想要了解他本身的语法
词法以及语义还有语境那这个如果这几个能综合起来其实我们就是能够理解文字后面更高维度的一些信息了这就是为什么我们读了很多专家的这些著作呢仍然不得要领不能理解他的背后的思想啊
当然我们现在的知识传播或信息传播也不只是文字了随着娱乐传播领域的拓展我们发现现实世界的这种喜怒哀乐爱恨情仇它本身是高伟的但我们可以通过图像就是我们的照片
或者视频来去传播而这已经对于文字来讲它已经足够的生了一个维度因为它有更多的景象信息有它的音乐有它的画面还有文字和语言但是本身即使我们把文字生了维之后那其实呢他理解的这个世界呢还是相当于是在一个某一个地位去展示的
所以我们人类总是通过影视剧去了解人类的生活意义而我们看了很多的爱情剧可能仍然不会谈恋爱更何况今天我们被很多的偏好性的算法困于其中我们即使能够来自获得的这些信息也来自于自身的偏好或喜好维度的一个横切面
以至于我们今天很难去理解世界上还存在着那些所谓跟我们一些对立或者分离的这种思想
例如精英阶层可能不知道劳苦大众的疾苦大众也沉迷于自己的这种韭菜身份不能自拔各种主义思想满天飞各种一个观点任何一个观点都可能有人会被喷这是网上开始各种各样的骂战这个不只是在国内其实在美国的这次大选大家也能看出来
选哈里斯的这些选民和选特朗普的这些民众之间其实几乎是无法互相理解无法相容的那每个人呢今天都活在自己唯一度所了解的这个世界所以其实我们今天除了文字之外有了图像有了视频
我们在某种程度上做到了一定的升维但是距离我们真实的高维世界还是有差距的大家仍然看到的是一个高维世界在低维世界的一个投影这样说来是不是出于低维世界的我们就真的无法去更好的了解高维世界了呢为了让我们更好的了解这个世界我们就要通过更多的高维在低维世界的投影方方面面的投影来充分的了解这个世界
虽然经济指标的这种高低不能反映市场的走势但如果我们把这些指标前后做了对比
各种进行了各种趋势的分析那实体的一些调研我们真实的感受再加上国家政策的经济也许我们就能够更好的去洞察到经济的一个变化趋势哪里是拐点是不是已经走出了一些趋势所以我们更多的说当我们试图去了解高维世界的时候我们就需要了解高维世界在这个第一维世界的各种各样的不同维度的一些切面或者投影
这样我们能通过一些信息把它综合起来然后会总成一个贴近高位世界的情况比如对于网络上这种各种言论我们认为是一种低位投影代表了这种网红博主的这种自由思想大家可以多去看看这种评论区或者留言里边体现了很多不同群体之面的一些网络民众的一些舆论导向
所以我们可以看到不同的这些低维的投影我们可以把它相互的叠加起来或者综合起来来看来努力拼凑出我们所希望了解的高维世界如果你只生活在低维世界里看到的永远就是投影就好像我们去看皮影戏永远看的都是剪影并非世界的全部
那人们的描述的世界方式呢也是从高维到低维而我们去认识世界的方式呢要从低维还原为高维那这些认知呢也是我们逐步要通过不断的累积来形成的我们以一个物理学的例子就非常好的去理解比如我们最早能够理解的就是牛顿的经典力学万有引力哈
那后来呢随着物理学的发展又发现了固体力学流体力学电磁学等等的那直到爱因斯坦提出相当论点之后那发现原来牛顿力学它只不过是在一个低速世界或者弱引力条件下所谓的低微的一种展示而后来呢又发现了像量子力学又揭示了微观世界中的一些原来的传统经典力学里面无法解释的现象例如像粒子的这种波动性啊不确定性啊
从普朗克波尔海森堡到薛定谔直到今天经过多少代的物理学家目前我们发现目前的力大概可能有四种一种是爱因斯坦所提出的这种引力二一个是麦克斯韦的电磁力还有量子色动力学中的强合力以及电弱统一理论中的弱合力
但是现在也有人提说这四种力也只不过是我们认为一种高维力在低维世界中的不同的展示所以又提出有人提出最新的就 M 理论希望能够把这些四种力能统一成一种的高维力
所以我们可以看到我们人类在认识像物理学这样多少代的探索之后我们仍然是在不断的前进我们在把一些低微的这种投影的切面我们努力的再去提升它的维度以便于我们更好的真实的了解这样的一个思维
好 我们说了这么多 其实我们都可以看到我们的这些科学家一直希望都把自己的维度能够升上来能够从学术理论能够站在更高的维度来观察这个世界这是在思想或者学术维度上而在实践上 我们更希望用一种比较低维的方式能够真实的去还原我们的世界
所以今天我们就可能谈到我们真正的重点就是我们所谓的计算机领域或者人工智能领域如何通过低位来去真实的还原所谓的高位世界那计算机科学其实是同样的道理那计算机领域一直是帮助人类在完成这种降维的一种描述而且确保我们当我们降维描述之后我们所展示的内容是真实的
其实计算机本身背后的原理它实现的这种纬度是非常低纬的因为我们大家知道最后都是 0 和 1 都是真和假就是这样一个简单的区分来拼凑出我们今天的复杂的计算机应用
那计算机的核心就是电路 电路里面只有两种状态通电或者断电 那就用 0 和 1 表达这两种状态是非常好的然后我们可以再通过组合这些 0 和 1 的状态 也就于是有了逻辑门电路比如说雨或飞等等这样不同的表示 有了这样的段落之后 我们就可以执行一些复杂的逻辑的操作
这些逻辑的操作就可以包含我们很多的一些加法一些存储以及通过布尔代数的一些规则能生成这种与或非的这样的不同的逻辑实现也就是说我们有了些类似写成语说有了 if else 大于小于这样的一个描述
那有了二进制的这样的表述之后呢那我们就可以通过编码的一些规则来去形式化这些内容包括我们的文字啊 ask 码啊数字啊整数啊辅点数等等的那我们都可以转化成二进制
有了这二进制之后我们又可以试图用它们转换去存储我们的文字图片声音或者视频也就是说逐步我们通过最简单的最低维度的这样的信息的叠加逐步叠加成我们更高维度的这样的一个内容
这样的话也许我们就有了这种可以运行的代码程序人类就编写了一系列的指令来告诉计算机如果一步步操作每条指令都可以翻译成这种机器能够理解的最终的可实现的这种二进制的一个指令从而形成了今天我们更广泛的数字化的应用
所以大家可以看到为了承载人类的进步和文明我们的计算机科学家做了这么多的事情就像搭建金字塔一样一层一层的来构建这座信息科技的大厦从零和一开始不断的给这座大厦来去升维让它更好地贴近我们真实的高维度的世界
所以我们可以说计算机中的数据都是低维表示的它是对高维数据的进行降维处理后的一种结果降维就是一种我们可以想希望在处理过程中能够保留高维度的各种信息的信息
那维度呢可以在降低到多低或者保留多少信息之间进行一听的这个权衡因为大家比较容易理解的就像我们去压缩真实的图片一样那我们为了把一个真实的世界我们把它二维化的表存一个数码照片里面那我们要记录每个像素所谓它的颜色和它的位置
但是我们在真实存储的时候我们会对图片的信息进行压缩而在压缩过程中就是要确保我们对图像的真实的还原压到多低既能够节省空间又能够保留信息这个就是我们刚才讲的在降维时候我们在与信息保留之间的做的一种权衡
同样我们其实看到很多真实世界的这些数据信号比如说像语音数码比如说像核磁共振的这些扫描图片通常一开始它都具有较高的维度但在我们把它计算机化的时候变成一个数据的时候就要降低它的维度最理想的情况下就是说当我们简化之后这些数据的内在所拥有的信息应该能够还原回它的高维的这样的一个信息所在
这样的话我们就最大程度上减轻了所谓降维灾难所带来的问题这种降维的思维有利于我们对于一些数据的分类可视化还有刚才类似我们谈到的这种图像压缩或者视频压缩等等的基础也就是说我们计算机怎么能够去装载这么一个庞大的世界
那为什么我们今天能够很好的进入到计算机的时代我想一种理解就是说因为计算机用这种低维度做拼凑做形成的这种数据它能够存储的真实世界的维度又是足够高的
我们在这之前所有的其他的文明和技术可能都做不到这一点比如我们之前的技术主要通过书来去表达我们的思想但是书的这些文字太过线性了我们从左读到右从前读到后就像一条虫子慢慢的这种爬过每个看消化吸收都在于读者本身不同的人读同样的书大家了解到的信息差别可能太大了
所以在书跟计算机比起来相对来说它就是相对低位它不太适合做一些复杂知识的这种图像和传播接下来我们有了声音和影像但是声音和影像的问题它又在于它所表达的这种信息密度又过低难以被记录或者修改
这就是也是为什么我们更希望通过数字化的一些技术来去存储所以我们今天的书变成了电子书我们可以随意搜索或者定位书中的内容可以找到想要的知识以及前后的关联我们今天的照片也变成了数码图片有数字图片之后我们通过人脸识别能够知道照片里面的人是谁他们的关系是什么以及把类型同类的照片能够进行归类
有了录像我们也后来做成了这种数字制品一切内容都在数字化其实我们就是希望用计算机这种比我们传统的这些技术更高维度的一种方式来去更贴近于高维世界的方式来保存低维世界的这些镜像好我们计算机发展到今天
我们要做一件更复杂的事情了就是把我们人类的头脑和智慧如何进行一种低位的镜像处理所以我们有了人工智能如果我们说人类智慧是高位的那么人工智能技术就是相对低位的
那么如果相对说人工智能是高维的那么对于实现人工智能的模型和算法它就是低维的但我们可以发现其实人工智能算法都是通过神经网络这种多层的分割和传导来完成的所以首先它比一般的传统计算机的算法在维度上就提升了正因为是它的提升所以才导致了它实现能力上的提升能够实现更高维度的东西
那模型的算法是高维的那么它所使用的数据就是低维的
在 AI 的领域的所用的数据也进行了比传统集团机领域做了升位因为我们传统只知道集团机所存储的信息更多的是一种二维表结构的一些结构化的信息而在人工智能领域现在用了这种项链化的存储的结构相当于也增加了数据的维度而在底层的一些芯片的基础能力上其实也做了升位从传统的这种 CPU 的串行处理发展到了 GPU 的这样的并行处理
相当于它也升高了维度所以我们可以看到在人工智能领域在传统的计算机科学对比的话我们在数据层面的领域升级了在基础的计算芯片能力上也升位了然后我们在算法的这种模型的领域它的维度也升级了所以这样的话我们才有可能制造出和以前不同的一些
也就是说我们今天可以看到的人工智能的这样的一个新的一些拓展其实这种低维在机器学习和深度学习领域早就有了广泛的应用一般我们在这种数据领域更多指的是这种特征空间的一个大小而我们输入的这种每一个比如说这种无论图像或者文本我们都作为一个数据点
它在高维中都有一个空间的表示然后可以通过这种噪声去除或者特征提取的方式来选择适当的这种低维度来进行一个存储从而我们实现在不显著牺牲模型性能的情况下提高效率
传统的机器学习依赖于人工定义和特征的选取而深度学习通过多层的神经网络来自主的学习从这些类似像素这种声音的波形的低级信息逐步提取成更抽象更高层的这样的一个特征的信息比如像这种语义它的物体到底是什么的一些内容而且通过深度学习之后这一过程无需人为接触更好的
减少了人工的工作量极大的这种提高了整个特征工程的这样的一个对复杂性的这种处理能力通过对这些地位信息的分层和处理和组合深度学习就逐步形成对数据的一个全面的认知和理解
就像我们从这个类似于从爬山解谜大乐高到绘画整个的这样的一个逐步的过程从简单到复杂从具体到抽象然后构建出对这个智能的这种多层次的一个认知那我们知道大语言模型是基于 transformer 架构的它来理解这个人类的语言因为对于大模型来讲那人类语言它就是高微的那模型呢它是低微的
所以如何才能用这种地位的模式来去描述这种高维的语言呢那所以呢最新的人工智能是摒弃了过去的像一些语法分析词法分析的这种地位模式而是采用了向量这种 token 的向量存储和关联度搜索的这样一个更高维度的一个展示的形式所以呢它要在一个句子当我们比如说我们要做一个翻译的时候那比如说 I love cats 我喜欢猫
第一步就是对句子的内容进行一个向量化向量化的存储采用这种词嵌入就 word embedding 的方式每一个词都会转换成一个高维度的向量假设模型使用了一个比如说 768 维的这样的一个向量每个词都会来自于一个使用这种维度的向量的一个表示
这些向量不仅仅是随机的数字 其实它还包含了词背后的一个语义比如说 love 和 like 在词语上它们是相近的 所以它们的向量可能就会相似的因此当我们去做 I love cats 这个句话的分析的时候我们就会得到爱的所谓一个向量表示 love 的向量表示以及 cats 的向量表示
我们通过每个词来转化成更高维的向量模型就可以更好地表示每个词背后的一个复杂的含义以及与其他词的一个关联我们从而形成了从低维的简单文字到高维度的这样的一个更复杂的映射来捕捉这些词背后的复杂的语义和预警的一个情况
第二步 Transform 模型使用了自注意力的一个机制那就是使用说我们要处理还用一种多头注意力的方式来去处理这个向量序列帮助来去找到说每个词与记子之间的一个其他的关系并且为每个词在句中的重要性的分配不同的权重
那自助意机制呢可以为每个词计算它与句中的其他词的关联关系通过这种关联关系的这种计算呢又可以更好地理解这个句子的这种结构和含义比如说 I 和 love 之间就有关系其实它是一种主位的一个关系 love 和 cast 也有关系它是动词和宾语的方式
所以这种多头自注意的机制呢就是说每个注意力头都关注这个句子中不同的关系比如说一个注意力头呢他就可能关注 Lavacast 之间的关系另一个注意头呢可能去关注句子的整体结构
这样的形成一个主语动词宾语的这样一个模式那我们可以看到其实它也是从一个不同的维度来观察这个句子的表示其实它也是比传统的线性的计算机处理它升高了一个维度去理解
那最后一步呢就是一个概率生成的问题那输出的这种成果呢基本是靠概率分布的我们通过翻译的话我们找到对应的词像对应的比如说它的相关的一个词汇进行一个输出比如当模型要翻译这个 love 时呢它就会找到各种的词比如说
我们模型会选择比如概率词是爱作为翻译可能爱的这个概率是 85%而可能 love 有喜欢的意思喜欢可能是 10%的概率而其他的翻译可能是 5%
所以我们最后大模型选择了爱更高概率的词汇进行输出所以 I love cats 就被翻译成了我爱猫所以是通过这样的一个方式大家可以看到在不同层度上通过这种向量的升级自助 ED 的这种不同的维度的提升
其实我们看到对于大模型这种算法来讲它也是在我们基础的算法逻辑上比传统计算机它升了维度正因为它升了维度之后它才能处理这样更复杂的一些内容那么概括而言就是大模型之所以能够在多个任务上能够表现出色就因为它背后用了大量的积极学习学到了丰富的这种高位的表示这种表示能够很好的捕捉到这些数据这种模式的复杂的关系
那相比传统模型来讲所以大模型的高维的表示具有更好的这种泛化能力也且能够用于不同的这个任务之间的潜移学习
为什么大模型能够具有这样泛化能力其实更多是因为背后它用了更高维度的一些结构和存储就刚才我们谈到的包括 GPU 它的数据的存储它的算法的模型它都是高维度的所以通过这种高维度的共同的叠加找到了一些知识层面的所谓的共同的结构这样的话可以更有效的方式对事物进行编码
比如说你问 GBT-4 为什么这个堆肥和原子弹是类似的呢那大多数人都回答说他们认为这个堆肥堆和原子弹完全是两个不同的事物啊但 GBT-4 可能会告诉你虽然能量和尺度时间尺度上不同但他们都涉及到链式反应当堆肥越热就会越发热越快啊
当原子弹产生的中子越多所以它们都产生了对应的这种链式的反应所以我们可以看到其实大模型出现了一些在不同领域知识的一些关联或者泛化的一些能力其实就代表了它在更高维度的一些实现能力可以保证它产生这样的知识效果
所以许多人认为说大模型不过是在拼凑人类已有的知识但杰弗辛顿认为这是错误的因为辛顿认为大模型能够理解一些知识的本质至少是从人类的角度定义的这些所谓的本质因为他把这种理解压缩到了他更高权重的这种参数中这种权重的参数就体现了他模型本身的这种更高维度的展示
而进一步讲所谓多模态的大模型能够整合来自不同所谓我们感官器官的信息源比如图像视频声音这样和语言结合之后再通过一些和物理世界机器人手臂的等等这些的结合那更好的就可以去了解实际
也许多模态的模型也可以在更高的维度上对我们刚才讲到的不管是模型算法还是数据还是算力等等的进行更高维度的整合这样的话它就可以在更高维度上更好的去模拟出一个真实的所谓的我们的人类世界或者知识的世界
所以当模型能够通过视觉看到一个物体并且通过模拟或者物理操作能够跟它去进行交互的话那我们可以让模型更好的理解物体之间的一些空间关系和物理规律
这种转变就相当于 AI 从一个单纯的符号和数据处理提升到了一个真实的接触现实世界的更高的维度从而让 AI 能够更好地理解物理世界中那些难以用语言表达的复杂概念
就如同前面我们讲到计算机世界怎么从二进制如不如变成一些英文软件的这样的一个过程一样但人工智能其实也是打造了一套自己从低维的一些展示维度向高维度探索的这样的逐渐的一个过程
这套基础框架所有的内容都比原来的计算机体系显得更加的升了维度从 CPU 到 GPU 从二维表的结构化存储到向量存储从简单的算法逻辑到多层的神经网络通过这一切的升维的处理相信可以让我们的人工智能模型更加接近人类的智能
或者说我们可以更好地去探索到底什么是人类智能这样类似一个本质的问题
从莱布尼茨的普遍计算设想到当下的大模型或者多模态那世界似乎正朝着一个更加神秘的一个方向在去进展也就是说我们对世界的全面的认知可能不仅仅来自于我们已知的这些算法或许更存在于人类与机器这种复杂维度的共同演化和创造之中那在最后呢我们还想聊一个
我们未来如何发展人工智能的一个问题就是说我们是不是有更好的方法通过降维的处理避免这种降维灾难或者通过升维大模型人工智能让它更贴近人类的智能呢那第一种方式呢就是降维
我们把真实的高维世界的这些信息等我准确的降维后所形成的信息数据内容来训练大模型这样的话对于模型所能产生的这样的智慧程度可能会带来一定的好处
我们可以看到最传统的方式我们前面也谈过就是类似数据压缩其实我们可以说大模型的这种模型的语言也是对知识的某种压缩就好像我们之前使用 JPG 来存储这种图像一样数据压缩技术本身就是一种降维处理方式
这个在作家特德江的 ChatGBT 是网上所有文本的模糊图像里面其实就谈到了一个精彩的比喻就谈到说 ChatGB 是一张对人类各种语言存储的 JPG 图片 JPG 采用的是有损压缩的一种常用的技术的差值的一种算法
这个时候我们可以看到在不同的信息之间可能会有一些所谓的损失当图像程序显示照片时必须通过重建压缩过程那些丢失的像素来去补充到你会查到长期的附近的像素并有一些近似的一些值
而大模型的数据的内容现在来自于互联网的所有的一些知识和训练内容通过压缩或者是打包的方式我们来形成这种降维的存储再通过预测下一个 token 的方式来补齐用户想要的内容
来还原出高维的信息内容所以在过程中所谓我们大家都知道的所谓大模型的幻觉就胡编乱造那些情况其实就好像是说我们在补充这些信息的时候在升维的时候而不准确的造成的那些内容是一样的所以我们可以看到说降维本身就可能会带来各种各样的问题那所以呢我们可以看到在
训练大模型的时候这些知识的数据相对于低位数据集来说可能就变得不可靠因为它是基于更大的所谓的外推法外推法是一种在原始观察范围之外的一个根据变量或另一个变量的关系来去估算这种变量值的方法所以简单的说就是训练级的维度越高可能过女和的这种风险也就会越大
所以理论上的解决降维灾难的办法就是增加数据训练级的大小当他达到了一个足够训练级的数量的时候啊才能达到具体的效果所以这就是为什么我们可以看到说大家都讲这个 scaling law 就是要在足够的所谓训练级上才能达到一定的那我们通过这样的低维或者高维的方式我们也可以大概理解他背后的这个原理到底是什么啊
刚才我们讲的是一种降维的方式其实还有人工智能的另外一种方式就是努力的通过用低维度的技术来去实现高维度的这些信息我们在实现真正的人工智能这一进程中许多时候维度的突破是非常关键的
从维度的角度呢曾经爱因斯坦说过类似的一句话说我们不懂用制造问题时的那个同一水平的思维来去解决这个问题那所以呢我们要用更高的水平也就是基于这种更高维度的方式来去解决问题
但是这个又有很大的难点因为我们无法像三体小说那样真实的体验到或者感受到高维度的空间我们更多的现在通过都是一些数学计算或者模拟的方式去理解高维度曾经在 1884 年英国人艾德温·阿波特曾经出版过一本讽刺中篇小说这本小说叫做《平面国多维浪漫》故事里描述了一个由几何图形聚住的二维世界
其中的一个主角叫做正方形它是一个世界中的居民他们生活的都是一个二维世界就是一个叫做 flatland 平的世界因为这里的居民都是平面的几何形状不同的形状代表着不同的社会阶层
女性就是单一的线段处于社会最底层而男性是多边形边数越多呢这个地位就越高那圆形呢代表着这个平面世界的这个最高阶的神职人员
突然有一天当我们的主角郑皇行遇到了一个来自三维世界的一个球体这个球体向他展示了这种第三维度的这种概念带他体验了整个的三维空间这让郑皇行意识到他的世界并非可能他理解的全部所以他在回去的时候就试图把这些新的知识分享给其他的 Flyland 居民但他却被视为异端最终被投入监狱
这个故事是不是有点像布鲁诺的日心说的整个的过程所以这些二维的生物是无法感知所谓的三维世界的同样我们这些生活在三维世界的这些生物可能也无法感受到更高维的空间
如果今天的大模型对于人类的智能来讲还是低维的所以我们可以变相理解目前的人工智能还是无法感知到真正的人类的智能的还是有很大的差距的我们怎么让低维度的人工智能去理解更高维的世界呢我们反向也一样人类在低维世界怎么去
观察高维度的这种世界那这种方法我们是不是能够转移到人工智能的领域我们可以看到有一些经典的方法是能够解决这个问题的因为最经典的方法就是说当高维的物体在与低维空间进行交汇时就产生交集时它会在低维的空间中呈现一个切面
而如果把这个切面的连续时间变化也就是说当一个三维的类似球体穿过一个二维平面的时候如果你这个时候只是站在二维的这个平面上看这个球体穿越的时候它最终最一开始是从一个点然后逐渐的变成一个圆然后圆逐渐的变大变大之后它又还会缩小最后再变回成点
所以通过这一系列的观察从点变圆变大再缩小再变点这个过程我们就能够从二维的世界感受到三维的球体的变化一个过程所以这个就是通常我们讲的在第一维世界中怎么去感受高维的这样一个变化
那么四维的球体穿过三维空间时我们可以感觉到就是在三维空间中会观察到一个点扩成一个球体然后球体又收缩成一个点所以这是一个同样的类似的理解过程大家可以站在自己的角度回想一个过程是不是这样的所以在这个过程中整个是加入了一个时间的变化维度就是通过第一维的空间加上时间的变化来去共同的感受所谓高维世界的变化
所以低维数据是不是能够还原高维世界的过程从理论上来看肯定是有可能的但是这个过程肯定还面临着很多的挑战和局限这种还原依赖于数据的特性还原方法的复杂度以及我们对这种高维智能的理解程度不同的领域可能这个过程的方法也不一定相同
所以在人工智能领域这种从低位到高位的转换可以看作类似特征学习或者模式识别的问题深度学习模型尤其是在生成对抗网络或者是变分自变瓦器正是为解决如何从低位潜在空间生成高位数据分布的这些的一个问题
同样的我们想如果我们现在大模型是低维的我们想去感受高维的智慧我们能不能有可能在这个过程中我们加入时间的维度
比如说让大模型底层的这些模型和参数随着不同时间能够体现出对智能的不同的投影也就是说根据时间或交付反馈来形成一些动态的参数首先的模型在推理时间内可以通过调整某些比如超参数和动态改变行为当然这个过程是不涉及重新数据训练的而只是改变这种模型在运行时的一个表现或者状态也就是说模型能够在
它运行过程中能够根据新的交互数据进行持续的学习传统的大模型的训练方法基本是静态的或者缺乏过程中的实时的学习和适应
但是我们最新的一些产品我们也可以看到比如说类似 OpenAI 的 O1 的模型它其实是在推理过程中主动去学习随着每次交互而不断的发展以获得更好的这种智能的响应所以我们可以看到它在数学或者编码或者现实世界理解任务方面会显得更加出色一些能够保持一些持续性的适应性或者是相关性
因为我们在传统的大模型里面看到的所有的这些参数也好基本都是一个静态的存在的而 O1 的模型将整个它的推理的过程变为一个动态的不断发展的过程所以我们看到可以在推理过程中 O1 可以主动的学习和完善自身
这也就代表着它不仅仅能够停留在训练前或者训练后这样的一个过程中它也可以把它的能力发挥在模型的使用过程中它能变成不断的增长它的响应能力更强适应性也更强并且更符合现实世界的这种复杂性
所以有没有一种设想说未来的专家应该研究如何在我们不降低模型效率或稳定性的前提下能够实现某种实时的学习允许用户通过简单的接口上传数据来定制模型的某些行为
我想这些方式就像我们如何在低维去来模拟高维是一样的就是说我们借助一些动态的或者时间的能力结合大模型的原有的能力把它升高一个维度然后变于它可能更好的接近于目前更高维度的人类的智能这样来提升整个人工智能的能力
所以今天整个讲的内容可能会比较抽象所以我们从高低维度的角度我们先看了传统的计算机如何从一个很低的维度比如从这种硅片也就是说就是沙子从这种零和一就是真和假这种最简单的逻辑的认知怎么一步步通过生为的不断转换组合演化能够打造出我们今天这样的一个计算机或者互联网的世界
对他来说已经足够的复杂和深微了但对于真实的世界和人类的智慧来讲他可能还是比较低位的而我们反观人工智能技术他通过更高位的形式比如说平行计算的 GPU 我们把数据向量维度增加我们的算法形成了多层的神经网络这样打造了一种更高位的基础的表达的形式用来理解和形成人类的智能
那如何让大模型能够更贴近高维智能呢我们也谈到了两种方式一种是低维的压缩表示避免这种降维的灾难那另外一种方式呢我们就是通过这种类似高维智慧在低维模型中的这种切面投影的方式通过动态的这种方式来去提高这种 AI 的智能水平所以这是我们今天可能节目里面主要想聊的主题的内容
在三体小说中三体人的交流方式与人类的语言交流方式有很大的不同当时刘思兴把这个称为思想透明一方面三体人之间没有隐私的概念因为他们交流的这种方式不是通过语言和文字而是直接将自己的思维意图和逻辑传递给对方而另一方面每个三体人都能看到其他三体人的全部思维包括推理过程情感或者想法无法隐藏任何信息
也就是说他们并没有像我们人类的交流一样因为我们人类的交流其实是把我们的高维思维要通过降维的方式变成语言或者文字或者图像然后再进行一种传播而在传播过程中可能这种信息还有损然后另外一个接受这种信息的人呢还要把这些低维度的语言或者文字图像然后再还原为自己的高维的思想过程所以在这过程中我们发现呃
刚才我们除了这个降维灾难之后呢中间的信息的损失啊这些信息的转换知识的变换知识的丢失这是非常见的这也就导致我们在人类智慧在传达过程中是无法做到类似刚才我们像三体人的这样的一个表达的方式这个可能也就是原来我们讲到的巴别塔的故事啊它所存在的这个意义哈
但是我们会想如果有一天我们的 AI 大模型能够把人类的智慧以更高维度的方式进行传播或者是类似能达到像三体认识这么高的维度那也就意味着说我们人类之间是可以通过大模型来达到某种共享思维的效果那这样是不是非常高的提高了我们所谓的知识和信息的传播效率
那我想那个时候不管是 AI 自身有多智能但是对于我们人类来讲那 AI 能够成为我们非常好的一种传递知识和智慧的这样的一个载体那我想那已经相当于就实现了 AGI 或者超级人工智能的
所以我们可以看到最终我们不管说我们的超级的人工智能或者智能体自己有多厉害最终我希望它还是和人类能够一起共同的进步然后来帮助人类来实现这种类似无损高维的信息的传输好我们最后也谈了一些设想
虽然今天的节目略显抽象但是我想给大家提供一个新的视角来去观察什么是计算机什么是人工智能人工智能和人类智能之间这个低位和高位未来的差距是怎么解决的这样的一种方式如果你对今天的节目感兴趣也希望你能评论订阅和转发好我们下次再见
那是一个长得似乎没有尽头的冬天白墙上又指望了南非的鸟它吹响微弱的哨那却是走出深渊的桥他们说那是可耻的谣言是一切不幸从此开端
一束光照进铁塔我绰背显现这束光便有罪不容分辨那些天使一心走向了前线那些书名让我热了盈眶看到凉山楚江如香的遮羞布
关于春天我们有太多怨言
他从不顾及我们愁容满面我们生活在平静的绝望里在混沌中寻找自己的身影世界大于滂沱万物苟且而活敬业的人类一般浑水一般唱歌
我们轻言深信将心中沉默的情献给飞鸭子飞去下的人每一站无声 习命都埋葬着无共生的眼泪红色天空 如中之条柔梦无悔 善意绰绰
关于春天我们有太多怨言
它从不顾及我们愁容满面我们生活在平静的绝望里在混沌中寻找自己的声音世间大雨滂沱万物苟且而活敬略的人类一般昏睡一般唱歌
我们轻言深信将心中沉默的记献给飞扬在飞絮下的人 Zither Harp
by bwd6