cover of episode #73 AI预测结果揭晓(2)|快到边缘设备上来吧

#73 AI预测结果揭晓(2)|快到边缘设备上来吧

2025/1/5
logo of podcast 科技慢半拍

科技慢半拍

AI Deep Dive AI Insights AI Chapters Transcript
People
主持人
专注于电动车和能源领域的播客主持人和内容创作者。
Topics
@主持人 :本期节目回顾了2023年底对人工智能发展预测的第二点,即AI大模型在用户设备边缘计算和推理能力上的实现。首先,节目区分了基于互联网的AI应用和真正的边缘设备应用,前者并非边缘计算的典型代表。边缘设备分为两种:部署小模型且具备计算能力的设备(如AI PC、AI手机、智能汽车);以及轻便型设备,自身不部署大模型,依赖云端计算(如智能眼镜、卡片、手环)。 节目分析了智能眼镜、智能随身设备(如Bloodnote录音卡片、WOOP健康监测手环)以及AI手机、AI PC和智能汽车等不同类型边缘设备的应用现状和发展趋势,并探讨了各自的优势和局限性。例如,智能眼镜市场虽然因AI的介入而发展迅速,但仍存在技术瓶颈;智能随身设备则展现出多样化的创新,但功能相对单一;AI手机和AI PC则通过本地小模型与云端大模型的结合,提升用户体验,但市场影响力有待进一步观察;智能汽车则主要在智能座舱和智能驾驶方面应用AI大模型。 节目总结了AI边缘计算背后的技术驱动因素:AI与传统技术的结合,使得AI能够更好地服务于具体场景;AI芯片的进步,为边缘设备提供了强大的算力支持;模型压缩技术,例如量化、剪枝、知识蒸馏和低秩分解,解决了大模型在端侧部署的问题。这些技术进步共同推动了AI在边缘设备上的能力提升。 最后,节目以比尔·盖茨在1995年关于互联网的访谈为例,类比说明对AI边缘设备未来发展方向的不确定性,并建议从业者学习早期互联网发展经验,以更好地把握AI边缘计算的未来发展方向。

Deep Dive

Key Insights

What are the key predictions made by GPT-4 regarding AI development in 2024?

GPT-4 predicted that AI would see significant advancements in edge computing, with large models being deployed on user devices like smartphones, PCs, and smart cars. This would enable faster processing, lower latency, and better user experiences by moving AI computations closer to the user.

What are the two main categories of edge devices discussed in the podcast?

The two main categories of edge devices are: 1) Devices with local computing power and small AI models, such as AI PCs, AI smartphones, and smart cars. 2) Lightweight devices without local AI models, like smart glasses, wearable pins, and health monitoring bands, which rely on cloud-based AI models.

How has the integration of AI into smart glasses evolved in 2024?

In 2024, AI integration into smart glasses has seen progress, with devices like Meta's Reban Meta glasses selling over 1 million units. These glasses use AI for functions like real-time translation, navigation, and object recognition. However, they still face challenges in achieving full intelligence and are limited to specific, low-frequency use cases.

What are the key features of AI PCs as discussed in the podcast?

AI PCs are characterized by stronger computing power, larger storage, compressed model sizes without performance loss, a complete AI application ecosystem, and enhanced data security and privacy protection. Companies like Huawei, Lenovo, and Microsoft are leading this trend, with AI PCs acting as advanced assistants for tasks like document editing, data analysis, and gaming.

What are the three main technical drivers behind AI advancements in edge devices?

The three main technical drivers are: 1) Better integration of AI with specific edge device scenarios, improving user experience and security. 2) Advancements in AI chips, such as GPUs, TPUs, and NPUs, which enable efficient local AI processing. 3) The deployment of smaller AI models on devices, achieved through techniques like quantization, pruning, knowledge distillation, and low-rank decomposition.

How does the podcast compare the current AI edge computing trend to the early days of the internet?

The podcast draws parallels between the current AI edge computing trend and the early days of the internet, where companies competed to dominate user entry points like browsers and portals. Similarly, today's AI edge devices aim to capture user attention by offering faster, localized AI services, though the full potential of these devices is still evolving.

What challenges do lightweight edge devices face in terms of AI integration?

Lightweight edge devices, such as smart glasses and wearable pins, face challenges like limited local computing power, reliance on cloud-based AI models, and potential network latency issues. These devices often require additional software or apps to extend their functionality, and their AI capabilities are constrained by hardware limitations.

Chapters
本期节目回顾了2023年底对人工智能发展预测的第二个预测,即AI大模型在用户设备的边缘计算和推理能力。探讨了边缘大模型的概念,以及其在不同类型的边缘设备上的应用方式,例如轻便型设备(智能眼镜、卡片、手环)和更复杂的设备(AI PC、AI手机、智能汽车)。
  • AI大模型在边缘计算上的应用现状
  • 轻便型边缘设备与更复杂边缘设备的差异
  • 不同类型边缘设备的案例分析

Shownotes Transcript

AI 预测结果揭晓 2024 年中复版专辑节目各位听众大家好欢迎收听由科技版版拍和 AIGC 开放社区联合出品的播客节目

我们其实在 2023 年的年底的第 24 期节目中当时我和人工智能也就是说当时比较领先的 GPT-4 我们一起做了一期节目节目中采用这种寻寻善用的方式一步步的对比了现在的 AI 的发展与当时上世纪 90 年代的互联网的发展历史

然后由我来问问题由 GPT-4 来回答那算是通过这种引导 AI 的方式完成了一次对于 2024 年的人工智能发展的一次预测

在那次预测中一共分为了 10 个方面从技术应用市场合规投资各个领域基本都覆盖到了如果大家感兴趣是如何预测的话可以返回去听一下那期人机对话的节目链接我会放在 show notes 里面在此新年交替之际我打算利用一个系列的节目来分别回顾一下当时的这些预测

节目时长或长或短有话就多说没什么进展就少说

即使对之前预测的一种回顾也算是对去年整个人工智能行业发展的一次总结这次节目中我们会对当时我们做的每个预测会打一个分数大概分为五个档次如果是完全满足打 10 分如果是大部分满足得 8 分如果是基本满足的话得 5 分如果少量满足得 3 分如果确实没有出现预测这种情况的现象的话我们就给 0 分

最后我们再做一个总体的打分总结再看看原来这次人工智能对自己也就是推成智能预测自己的发展方向这项能力到底是怎么样的上期节目我们刚谈完了第一个预测今天我们接下来想聊聊当时 AI 所做的第二个预测第二个预测是什么就是说实现 AI 大模型在用户设备的边缘计算和推理能力

这个在 23 年最早的时候其实大家还看不到在 AI 大模型在边缘计算上的一些应用当时预测的依据主要是类比于早期的互联网发展大家可能那时候最早会关注于对互联网的一些门户或者一些基础工具比如浏览器这类的用户入口的一个争夺

那么当时就推测说 AI 的发展类比互联网可能大家也会在用户端这些边缘设备的基础上可能会出现很多的改变那推测出大模型边缘计算的能力会有很大的提升那通过大模型推理运算从中心下沉到用户的这种边缘设备比如像 web 手机汽车智能家居等设备中

以这种实现更低的贷款成本和更快的享用速度来满足用户的需求同时抢占用户的入口这是当时所做的第二个预测这种情况是不是已经发生了呢我们首先来看看到底什么是边缘大模型会以什么样的方式出现在所谓的边缘上又给用户带来什么样的新的体验

那第一种呢我觉得从边缘设备来讲那第一种确实可能不算也就是大家经常常见那种方式比如说我们常见的这些软件的 AI 应用比如像 ChatGPT 这样的对话机器人或者这种 web 端的这种搜索引擎

或者是我们讲到的不管是这种 AI 原生的做做引擎或者是 AI 增强的做做引擎或者是原来基于旧的互联网的入口上再加上一些 AI 能力所演化出来的新的服务这些不能称于边远设备但是确实它是处于利用了 web 这种技术然后更好的贴近的用户所以它们是基于互联网的

而且他们经常还是基于原有的手机或者电脑的这样的一个入口而不会含有什么特殊的边缘设备所以这种我想大家可能很难把它算在边缘计算一类但是这种确实属于一个边缘的入口能够更好的贴近用户这种我想大家都已经比较熟知了我们讲如果带有边缘设备的我们大致又可以分为两种

一种是说边缘设备部署了一些小模型并且却具有一定的计算的能力比如说我们现在说的 AI 的 PC 机就是 AI 的电脑或者手机加 AI 的应用或者智能的汽车这类的边缘设备一般会大一些或者更复杂能力会更强

但是它尽量的是基于人们已经拥有的这些接触设备包括 PC 手机 汽车等等的可能很难像过去重新发明智能手机一样发明一种新的设备了但是这种设备一般就会强大一点因为它既要有模型又要有算力它一定体积不会特别小

另外一种边缘设备就是比较轻便型的一些它自身就不会部署所谓的大模型这一类的设备可能就最近就产生了很多的新的创新这种设备通常也不太具有这种本地的算力资源比如说一些智能的胸针一些手机卡片或者智能眼镜这一类的设备通常的比较轻便也便于随身携带

当然由于他们自身的设备的限制的话他们基本的模型是需要基于云端的这种大模型来匹配使用的而且必须要联网去使用所以也可能存在一定的所谓网络延迟或者功能受限的问题

由于这种边缘设备的功能比较简单所以一般的这种设备还会匹配着其他的一些软件或者 APP 来一起来辅助使用来拓展他们的功能所以这类的这种边缘设备就是随着我们的这种各种新的创新可能会诞生很多所以今天我们就会把不同的这样的两类的设备内容我们在今天介绍

25 年年初的时候我们重新做一个梳理我们先看第二类就是这类所谓轻便型的这种边缘设备可能大家在 24 年看到最突出的就是所谓的智能眼镜市场其实在大模型融入到 AI 的眼睛之前包括 AR VR 就是上一轮所谓的元宇宙这类的整个的概念的时候当时就让智能眼镜的市场就发展的很快

但是后来大家发现在这个领域消费者也带来了很快的失望特别是在产品的这种轻便性显示效果续航智能化功能方面当时就存在着种种的技术的瓶颈这样的话让很多当时做这种 AR VR 眼镜这种厂商的无法满足真正的大众消费市场的这样的一个需求

当然很多都是在作为产品发布会上讲得很好但是事实上落到实例的时候就发现差距很远在 24 年 Meta 和眼睛品牌厂商雷鹏联合研制了一款 AI 眼镜叫做 Reban Meta 也就是我们常说的 Meta 眼镜大概发售了 9 个月现在已经卖出了 100 多万台在今年算是一个在智能硬件领域的一匹黑马

这样的话,Meta 眼镜的走红也让很多我们看到国内的这种做 AI 眼镜的参与者提供了一些成功的经验,所有的厂商都希望在新的智能时代,结合原有的传统的技术,能够在性能,眼镜的质量,以及价格上三者能达到一个好的平衡。

比如说国内开发的 Rocket Classes,它背后基本就是基于 AI 大模型来去做的并利用原来它的光波导技术来构建 AR 显示物体通过这套显示系统,Rocket Classes 可以为使用者提供必要的文字信息比如翻译文本,物体标记,同时还支持实时的导航方向

所以我们可以看到类似的可能产品现在目前也有很多所以从目前来看 AI 眼镜和大模型的这种结合虽然我们讲取得了一定的成果但还达不到十分智能化的水平我们看到的基本还都是基于大模型原有的一些 AI 的功能但这些功能可能比过去若干年是丰富多比如说这种语音助手问答实时翻译刚才我们谈到的导航会议记录物体识别

所以我们看到这些对应的场景目前来说还是有点低频的场景不是那种每天大家日常随时随时都要用到的信息我们也可以看到在信息捕捉的灵敏度和准确度方面还都有很大的提升空间

所以我们看到就是说这个眼镜所以智能眼镜的这个市场还是一个初步的一个发展只是由于 AI 的介入再加上原来 AR VR 的这个技术的成熟而带来一个新的一些突破这是在智能眼镜市场

那第二个可能比较多的就是在所谓的智能的随身设备的这个一些领域上比如从 2023 年年底到今年呢其实有成功产品也有很多这个失败的案例了最早我们说的这个 PIN 啊等等的当时可能大家看起来都不算成功啊

但是其实后继者也会很多比如说 Bloodnote 这是今年的一款明星产品它主要是粘在手机背后的一个录音卡片当时它是以 110 万美元发生一个众筹在预售阶段就达到了将近 600 万美元在 2024 年初就启动了整个零售后的一些付费订阅的这样的一个方式目前已经交付了 10 万台

它和刚才我们讲到的 Rabbit R1 或者 AIP 连出的一些新的音乐厂商一样都是在这个领域的做一些创新这个卡片相当还是比较方便的因为它回去连接拆 GBT

它提供实时的一种录音机,它本身的卡片又很薄,类似跟我们身份证差不多这个薄差不多在 0.29 厘米,能够贴在整个 iPhone 手机背后这种相当于是比较方便的,而且这个 Pro 自己的电池能量为 400 毫安满电的 Pro 可以连续录音 30 个小时

可以录制或存储 480 个小时的音频资料而 Pro2 上面自带三个麦克风其中一个是负责传导振动的一个传感器另外两个是采集外部环境的声音的空气传导的传感器录音的时候 Pro2 的手机内置了一个应用可以进行同传而且带时间轴基本上目前可以解决这种听写功能上的硬件的处理

那录完之后呢 Proud 还可以通过打蒙型对录音的内容进行一个整理或者提炼和摘要但是这个比较这个狭隘的是说就是 Proud 目前还是基于苹果生态链的它相当于是弥补了苹果手机不能录音的这样的一个小区限那如果放到这个安卓系统下呢有很多的

软件层面是可以解决这种录音功能的来解决这个功能一些这个在结合 AI 能力这个对录音后内容进行一些整理那所以呢这个 Clone Pro 的这种需求就不会太大但是对苹果来说呢它还是非常有用处的所以它是一个非常细小的或者独立专业的一个小需求吧

那这家公司呢最近还出了一个 note pin 啊就是像我们常常长的一个胸针一样它可以挂在胸前的一个小设备啊那未来可能通过这个领域呢他们也可以拓展出一些新的这种新的领域啊

另一个排名靠前的智能设备就是叫一个 WOOP 的健康监测手环大家可能有了 Apple Watch 以后或者类似的其他的手环可能大家都了解这些手环的一些基础功能比如说监测睡眠 身体恢复情况 运动数据等等的首先这个 WOOP 健康手环也是可以监测的

但是因为它结合了 OpenAI 的这个 ChatGPT 的一个大模型所以它能够给出针对这些数据给出一些非常个性化或精准化的一些所谓的建议来给到个人相当于这是它比传统手环多的一些能力或者更好的一个服务用户的场景

所以这就是我们说的所谓第二类就是说我们可以看到这种创新类的边缘设备很多啊除了传统的边缘设备之外呢也有比较更简单的传统的外设比如我们原来说的这个智能鼠标啊智能键盘啊智能耳机啊

我们可以看到其实为了更好的能够运行整个大模型所以在更复杂的设备上也就是用更复杂的一些比如说手机或电脑端在本地去结合大模型可能就会成为了重点

大家知道就是传统上大模型主要部署在云端但这种做法其实是可以首先保证这种强大后台的计算力和可观染性但是它在用户应用上也会受到一系列的问题比如说用户的体验网络的延迟本地

本地的数据安全啊或者持续的这种联网要求啊所以呢我们看到更复杂的这一类的就我们讲到的第一类的这种更复杂的边缘设备能够可以在理论上帮助更好的解决这个问题哈

首先我们就要谈到智能手机在 2024 年年中的时候首先苹果在 WLDC 上发布了它的 Apple Intelligence 的内容算是我觉得给整个行业打了个样具体内容可以去听听我们之前的第 48 期节目当时我们谈到了说 Apple Intelligence 主要解决了本地的小模型和这种云端的私有云模型和这种云端的通用模型之间的一个

相互协作的一个定位的一个问题这样的话呢相当于互相弥补了各自的一些弱点然后能够最终为用户提供一个更好的一套的这种用户体验那在年底呢除了这个国产的 iPhone 以外哈那这个 10 月份呢它发布的这个 iOS 的 18.1 里面就已经推出了这个 Apple Intelligence AI 的功能哈那事实上我们通过这个一些外部的调研数据发现哈

其实使用率比较高的其中还是写作的功能比如进行一些文本的编辑总结还是通知摘要等等的我想这也是整个代言模型最擅长的部分其中我们可以看到有一半或者以上的者他们也在试图中用这种比如多个通知中关键信息浓缩到一个试图这样的一个功能

而这种像优先信息啊照片清理和智能回复或者照片中这种自然语言搜索或者转录功能呢就是都是这些 LS18.1 新提供的功能啊相对来说大家使用率就没有那么高啊当然呢我们可以看到说这个可能有一个大家逐步接受的过程但是背后呢我们可以看到其实对于 AI 来说呢这种新的能力呢也没有说给 iPhone 带来很更好的这种销量的增长啊

大家今天可能有点见怪不怪了或者对于苹果来说有点审美疲劳了倒是我们可以看到在拆 GPT 刚在年底推出的就基于它自己的 APP 体现出这种高级的语音搜索模式包括它可以共享的手机屏幕进行一个实时的视频也就是用户可以通过这种视频把摄像头打开之后就可以和拆 GP 进行一个对话我们可以看到在这个

OpenAI 的首席产品官和他们的团队在演示这个功能的时候他们就展示了说怎么去制作一个手冲的咖啡当时就是通过摄像头来对准这个人的操作的动作和咖啡机然后这个 AI 就可以指导人来去完成一个手冲咖啡的一个过程

所以就是说我们可以看到就是说在手机端我们今天能够看到的这种想象空间或者能力的这种要求或者程度还是逐步未来的潜力还是非常非常大的那除了 AI 手机之外呢我们可以看到另外一个就是被传统的 PC 厂商就大家被吹嘘的就是所谓的叫 AI PC 的能力那这个市场呢主要是一些传统的很多 PC 厂商想希望借助 AI 的这一波能力

能力的提升给自己的产品新的赋能除了像比如说英特尔 AMD 这种老牌的新鲜产商外呢包括像微软苹果等这种 PC 厂商或者是像联想华为戴尔惠普这种类似 OEM 的产商都吹出了相关的 AI 的服务能力都把这个 AI PC 呢是做行业的整个的下一个增长的爆点啊

在 20 年年初的时候华为就发布了全新的 AIPCMetbook X Pro 接入了华为自己的盘古达模型结果同期联想也发布了自己的 AIPC 和在背后的服务叫做联想小天同时还公布了十多款的 AIPC 应用基本覆盖了从工作学习生活等多个使用场景在 CES 2024 的时候

杨元庆曾经谈到过自己的 IPC 的五个特征第一个更强的运算能力第二个更大的存储空间第三个压缩了整个的模型的体积但不会去减少它的性能然后第四个是完整的整个 AI 的应用的生态第五个对于个人用户数据的安全和隐私的保护

也就在一个月之后微软就推出了他们专门为 AI 设计的就是这种 Copilot+PC 并且采用了全新的这种 NPU 的设计然后还重新设计了 Windows 操作系统微软对 AI PC 的理解是这样的就是说它可能会成为一个更高级的智能助手能够理解我们的自然语言的操作所以这样的话 PC 机就可以帮助用户完成很多的日常任务

比如说设置提醒发送邮件搜索信息等等的同时内部的这些智能文档的编辑工具能够很快的去纠正这个语法和词法的错误提高用户的写作能力也可以帮助用户来生成内容还有就是这种 AIPC 提供更强大的数据处理能力能够帮助用户去分析本地的这种数据信息来生成一些报表和报告

所以我们看到微软的 Copilot 不仅能够听到用户的声音还能看到用户操作的界面比如甚至在用户玩游戏的时候都可以给出游戏的一些攻略所以从微软这个巨头他们来看 AI PC 就说他们认为说 AI 就已经成了 PC 的一部分而不是说它一个是一个专用的功能也就是说我们看到其实 AI 和 PC 的这个段子

充分的融入已经代表了未来的所有的可能 PC 机的一个标配了那我们可以看到就是说 AIPC 说到底就是三个方面可能它的主要的驱动力就是说 AI 的能力可以和底层的操作系统做一个深层的绑定这样的话就不是一个简单的 web 层的操作那第二个就是因为我们的个人数据都是在本地设备了所以它非常利于保护个人的隐私信息

第三个就是它的本地的推理算力其实它可能比手机来说它还可以更加强大一些因为是由于它的设备更大以后所以这个能力还是来自于大模型的这种在这种边缘设备上的整个的这种小模型化以后的部署能力的提升

所以我们看到其实 AIPC 也好 AI 手机也好目前很多的模式可能是一方面是本地的这种小模型再加上云端的大模型这样的话是相互互补的这样一个利用的方式主要是利用云端的大模型的这种处理能力来更加的补足和丰富本地的一些使用场景当然 AIPC 除了 AI 的

这个云端的算力之外它在本地算力上还能提供一些这个支持但这方面的可能目前来说还是比较弱的所以这是我们刚才谈到的一个更复杂的设备就是 AI 手机和 AIPC 那第三类复杂的这种边缘设备就我们就可以谈到就是智能汽车了啊

智能汽车这些年的发展也非常快目前来看到可以从我们说的软件定义汽车更多的向在迈向从 AI 定义汽车的这样的一个发展方向去进行了目前 AI 大模型对于汽车的赋能主要集中在还是内部的这种智能座舱和智能驾驶上其实很多人认为也是这是对新能源汽车下半场竞争的一个核心的战场尤其是这种座舱的一个领域我们过

我们过去可以看到这个很多汽车都部署了这样的一个车端的这个 AI 大模型啊那主要是可以通过这种让语音助手呢更精准的去捕捉到这种驾驶员用户的这种意图啊

比如未来的 Nomi 的 GPT 小鹏汽车融合大模型的 AI 小 P 理想汽车 Main GPT 华为的 High Car 这些能力都是利用了这种代言模型实现了这种一些交互的能力包括人脸识别 手势识别 情绪识别 眼动的识别来提供这种个性化的导房 娱乐这种安全的服务

这样我们讲完了 AI 手机 AI PC 和智能汽车之后我们可以稍微总结一下这些边缘设备能够成就今天的 AI 的一些能力背后的一些技术的因素是什么主要我想来自于三个方面

第一是说 AI 在结合了边缘设备之后的具体场景之后它就可以更好的结合一些传统的技术来满足用户的需求因为我们单说像 XGBT 这样的一个功能它好像在部署在网端它也不了解用户的需求

然后好像什么都可以做好像什么做的时候有点差一点用户也不太知道是什么时候去使用比如类似 GBT 的功能但是我们一旦结合了这种边缘的这种设备之后它肯定就会出现在所谓的特定场景之中这样的话我们可以通过在边缘设备上新技术和传统技术的结合更好的来提供

提升用户的体验这种实质性强更加安全这样的一些具体解决具体问题场景能力的这样的一个方案就出来了这是第一个我觉得就是说 AI 结合边缘社会之后能够更好地为具体场景所服务第二我可以看到我们今天能够在设备端能够去使用业余

来源于说底层的算力的就是 AI 芯片的一些厂商在这个领域的新的布局我们看到苹果高通等厂商都在布局所谓的边缘的 AI 芯片那这个里边的硬件加速器在大语言模型端侧的这种部署的时候也扮演了非常重要的角色其中这里边就包含我们最近非常火热的这种专用 AI 芯片

这个芯片是专门为 AI 这种任务设计的具有比较高的性能低功耗的特点近期博通的股票市场大涨股票大涨也是背后因为这个原因另外我们可以看到对于 GPU 的领域 GPU 可以进行并领的大量计算非常适合一种卷进升级网络的大模型的推理但我们可以看到像英伟达的 Jetson

也是刚刚 12 月份推出的他们有一个专门的为 AI 设计的迷你的电脑叫 JAS Nano 它基本就是可以本地运行 AI 语言模型不需要连接云端并且搭配了安排的 GPU 拥有 1024 的 CUDA 的核心和 32 个 Tensor 核心比以前的这种 PC 机的能力大大提升了 70%

同时英伟达在软件方面还拥有各种开发套件和各种的接口

那我们其实可以看到英伟达的这个野心还是非常大的他不单是说要和 OpenAI 谷歌这种云的公司能提供云端的 AI 的这种 GPU 的中心的这种计算而且他还希望在所谓个人的这种应用层面就是推动这种分布式的这种 AI 计算或者民主化的这个 AI 发展中也想去持续达到他的整个的芯片的帝国

除了大家所熟知的 GPU 以外还包括谷歌的 TPU 芯片包括以色列公司海乐科技的 Halo 芯片它们都是比较适合这种推理任务的当然还有我们讲的叫 FPGA 就是现场可编程的逻辑阵列 FPGA 拥有高度的可定制化能够根据特定的 AI 模型去进行优化

那 FPGA 以灵活性的以及稀疏矩阵的这种乘法和量化领域在这种 Transformer 推理计算中能够展化出很好的性能而且它还为这种特定的模型架构提供了这种定制化的这种可能性比如我们看到英特尔的 Auror 和被 AMD 收购的赛林斯的 Visor 等芯片就可以做到这种动态的配置

另外刚才我们谈到的像这种神经处理单元 NPU 也是专门为神经网络所设计的处理器也具有高效的这种并行的能力比如说像华为的升腾的 Essen 的芯片所以我们可以看到各种各样的 AI 的适合于 AI 芯片的这种计算能力的出现也给很多这种边缘设备厂商带来了更多的可能性也会给这个领域带来更大的爆发

这是第二点那第三点呢其实最重要的就是它在设备端能够部署小模型所以小模型呢能够突破原来的这种资源设置上的这种限制因为最早我们知道都是这种大模型才具备这样的能力但是呢我们在本地的设备上由于资源的限制肯定部署不了这样大模型

所以很多后来的研究者就通过这种量化感知缩放或者系数更新的等创新方法来有效的解决了大模型这种巨量参数如何在设备端进行的部署的一个问题其实主要就是模型压缩与参数共享的技术的应用

比如说这个 AWQ 方法和这个 Mobile LIM 不仅减少了模型的尺寸同时呢它还保持了在同时还加快这种推理速度那主要的里面的一些几个技术呢主要有四种吧差不多就是一个是量化一个是减值另外一个是知识蒸馏和低质分解差不多这四种技术来去解决这个问题啊

那简单说一说呢就是说这些方法能够通过在性能内存占比和推理速度之间找到一个比较好的平衡来解决大模型在端侧的这个应用的可行性那第一个量化呢就是通过降低模型的权重和激活的一些精度来减少模型大小的一种技术这样几乎在不损失模型性能的情况下可以显著减少模型所需的存储空间和计算资源那

那这里边呢还有另外一种方式叫做减值哈就是通过减少对模型复杂性来提升模型的计算效率的方法那结构化的减值可以通过一处模型中的一些整个的参数子集啊层啊通道或者过滤器来去优化啊硬件的性能啊那第三个呢就是知识蒸馏哈一种将大模型的知识迁移到小模型的技术啊通过这种呃

使用那种类似教师模型输出进行行为训练然后白盒呢类似允许学生访问这种教师模型的内部状态来实现一种更深入的一种学习这样的话呢这种方法在不牺牲性能的情况下可以显著减少模型的大小和计算需求

那第四种呢低质分解呢就是将大型的矩阵分解为较小的矩阵的技术啊这种方式呢利用了矩阵的低质结构减少了计算的复杂度同时保持了模型的这个准确性啊所以这是主要他谈到这个四种方式来去如何让大模型变小啊所以我们看到在端侧的语言模型上的这种产品呢比如像 Gemini 的 Nano 模型啊

主要就是通过这个 Google AI 的 Age SDK 为移动的操作系统提供了一个小型它功能强大的大模型它提供了这种比较好的这种性能和低延迟的这种推理能力包括像华为高通推出的这种边缘的 AI 产品比如说三月份

高通在中国的安卓手机上首次演示了模型参数超过 10 亿的 Stable Diffusion 模型那华为在 7 月份发布的智能搜图的功能这个也是对模型进行一个小型化的处理这里面我们可以看到在很多边缘设备上甚至它的能力都已经达到了超越或者 GPT-4 的这样的一个准确度的或者一个水平啊

所以我们可以看到就是由于我们前面谈到的这三方面的驱动因素就是说在边缘设备上能够更好的场景化那底层的这种算力资源 AI 芯片是支持的同时模型也在变小而且能力不减所以我们可以看到这样会导致整个在边缘 AI 能力上的不断的一个提高

但是呢我们今天也要看到啊不管什么在什么样的设备上吧我们今天看到的这些能力呢还是有点雷同的哈大家都有点习以为常了哈比如说这些刚才我们谈到的问答呀这些汇总啊这些能力哈

但事实上如果真的把这些功能放在我们两年前那一定都成为非常耀眼的明星只不过今天大家可能已经逐步习惯了口味都变高了同时可能大家也没有看清 AI 边缘在边缘设备上的下一步的发展是什么所以我们才觉得好像有点没那么解渴所以就像我们在预测中对比的本次大部分发展非常像 90 年代的互联网大家虽然最早可能想抢占入口

我们也去做一些浏览企业做门户但是因为那时候你做出门户了发现你整个的网络资源是匮乏的啊就是后面没有什么东西啊虽然抢占了入口但是相对来说可能在这个当时所谓的 web 1.0 阶段也没有获得那么大的一个作用啊就好像我们今天认为说 AIPC 啊或者 AI 手机的作用好像没那么大或者无异的人啊这里边呢我想在节目最后呢大家可以听一听就是当时 1995 年比尔盖茨呃

上了某个访谈节目他谈到了互联网的作用的时候当时也是被主持人嘲笑的整个的过程我考虑到这个 这些网络的事情你认识吗当然了什么是什么

它成为了人们在发布资讯的地方所以每个人都可以在自己的网站上发布公司在那里发布最新资讯,这种情况很狂热你可以向人们发送电子邮件这是一个很新的事情是的,但是你知道,很容易被批评是你不完全明白的事情,这就是我的位置,但是我记得几个月前,有一个很大的破坏宣传,在互联网或某种电脑商业上,他们将播放

你能在你的電腦聽到一個球賽的音樂我心想:「電視會不會打開」你知道嗎

我只是不知道你現在知道我這麼少,我現在又在做什麼?我需要什麼?如果你想要學習最新的啤酒或自動賽車的數據我已經有了這些資料我已經訂閱了兩家英國的電視雜誌全都關於運動的電視雜誌我還叫了"Quaker State Speed Line"大約兩次半小時的時間那電腦會給我更多的資訊嗎?

你可找到其他有同樣的不一樣的興趣的人你也有你指說網上的困難的傭人聊天室嗎

在这段音频里主持人大体问 Bierges 说他互联网到底有什么用 Bierges 就非常正式的解释了一番可以发布信息每个人有自己的网站可以发邮件等等巴拉巴拉的主持人又说他想知道说之前他听说在互联网上可以收听一场棒球比赛但是他觉得这和收音机就没区别

比尔盖茨又说那这音频是可以被互联网所存储但是收音机不行那主持人又疑惑了说那我们不是还有录音机吗所以主持人又追问到底互联网上能有什么用哈那比尔盖茨又说他说可以让你找到最新的一些信息哈那主持人说我现在订阅了很多杂志我这些杂志就能获得这些信息哈

盖茨又不得不解释说那互联网可以把一些非常秩序相投的人能够聚在一起主持人最后说一群像我们这种变态我们在一起聊天还挺恐怖的其实这也是非常搞笑的一个过程但是其实我们仔细想 30 年过去了那毕竟盖茨讲到的这些和我们今天做互联网做的事可能就是这些没有本质上的区别但是可是我们在 30 年前就很难理解说

互联网能够给我们带来什么可能当时讲的这些东西的功能确实差不多但是可能我们今天讲它的本质上却发生了很大的变化所以对于 AI 能够在这种终端设备上能够有什么作为其实我们其实还需要拭目以待

如果我们自己想一想 其实当时比尔盖茨其实他也不是互联网的最主要的推行者因为他主要做的当时还是传统的 PC 机 这种操作系统和软件但是你想他作为一个这种边缘设备或者与用户保持最近距离的时候当时还是不遗余力的去推广这种互联网的宣传

所以他就知道说对于用户操作端的入口重要性说有多重要的虽然我们可以说微软在互联网时代并没有获得非常大的突破性的成就但是他依然还掌握着这种终端的入口因为他有操作系统有 office 对吧所以这样足以让微软在后面的云计算时代就是在 SaaS 这个时代后面又有些后来居上的这样的一个状态的存在

所以我想对于这条预测来讲就是说

AI 在边缘设备上能够大放光彩我想认为大部分还是正确的因为说 AI 的发展呢基本也贴近了之前我们所预测的计算机互联网时代的这种早期的发展脉络同样呢那我觉得最有意义的就是对于今天的从业者来说呢大家应该回去看看当年的浏览器之战啊门户网站这个互相的竞争的一个发展的历程对比今天的边缘 AI 应用来说呢

其中是几经变迁了当时吃过什么亏有过什么坑各方得到过什么收益我觉得这个可能大家作为从业者都可以去仔细的思考一下好 本期节目就到这里这是我们对于当时 AI 预测的第二个点的总结内容如果您喜欢我们的节目也希望您能订阅点赞和转发我们下期节目再见

没有选择进入村落所以山里是我唯一唯一的落脚处孤行安踏半球落是我选择的生活再到一次清澈的河能够牵手摘下一次自己种下的果他们说

是你选择躲在山里看火守着那烂泥土不再借世人的手替我开脱变野的孤独也无奈处寂寞怎么那么像我

再调一次请求的河能够牵手站下彼此自己种下的果他们说他们说那是你选择的手躲在山里看守着那烂泥土不再借世人的手替我开

遍野的花孤独也能够耐住寂寞那么像我躲在上海抗烟火守着那蓝衣托不再见世人的手替我开脱遍野的花孤独能够耐住寂寞那么像我