Chapters
Shownotes Transcript
我们今天请到的嘉宾是 Defi 创始人陆羽，陆羽呢是我们上半年合作的钻石客户项目，也算是合作伙伴，是我上半年自己看到的 AI 里面最喜欢的项目之一，也是市场上很多人都非常喜欢，其实名气还蛮大的一个项目，对吧？
你们定位其实叫 l l m OPS， 那你给大家大概解释一下这是什么定义。
l m OPS 其实这个概念很显然是衍生自原来的 Devops， 我原来就是做 Devops 产品的，我在开发者工具啊这块东西可能做了五六年的时间。
传统的 Devops 它指的是软件的研发和运营一体化，是说你的运营过程是持续迭代的，和开发之间是快速反馈的。
那么到了现在大模型的背景下呢？
自然我的背景会去想一个基于大模型的，我们说它是 AI 原生应用也好，或者什么应用也好，它背后需要哪些运营过程。
我们认为这里 IM OPS 和 Devops 它有一个最接近的一个地方，就是它都有一个需要持续地迭代改进的一个过程。
也就是说你想基于 AI 去做一个应用，如果你不去接受市场的用户的快速地反馈，去纠正你原来无论是 prompt 也好，你的这个 agent 也好，模型也好去改静态化，它就没有办法去达到你想要预期的那个结果。
所以它不是和传统软件研发一样，那种瀑布的，就是一次性干三个月，然后就就上线了那种，所以这是区别。
所以说 Defi 的这个 m OPS， 也就是说我们是一个基于大模型的这个应用开发的一套完整的技术栈，既包括了一个开发框架，也包括了一个运营工具。
嗯， Defi 我觉得很多人第一次听会误认为是那个 Web 3 的那个 Defi， 呃，其实是是 D I F Y。
其实我们就是 do it for you， 而且这个名字是 PPT 帮我们起的。
哦。
对，所以 Devops 其实就是 develop 加 operate， 就是研发加运营。
完了，像你刚才讲传统的 Devops， 它其实也有那个 OP 运营那部分嘛，对吧？
那个的运营跟现在的这个大模型的运营的区别是什么？
在传统的 Devops 里，这里的运营其实翻译过来应该不叫运营，叫运维，它运维指的是偏基础设施的服务器、监控啊，可用性啊，它本质上更多的是看一个叫做应用的可用性啊，性能好不好。
但是我们到了 m OPS 的时候，我们去定位这个 OPS 呢，我们把它定位是更偏向叫运营，因为我们这里的运营指的是说很多非技术人员去参与到一个 AI 应用背后的塑造定义的过程中。
因为我们相信 AI 应用绝对不是说像原来一样，少数几个工程师，然后写完之后就上线，他就定型了，他实际上有大量的懂业务知识的业务人员、运营人员、销售人员啊，各种各样的人员，对吧？
他们把他的经验去灌到大模型里面。
所以说我们认为这个 OPS 是向更多更多人去开放的一个概念。
嗯，现在你们应该算是这个领域的，觉得第一名就是几个指标，一个是现在的 GitHub 的 star 应该到快 7000 了。
对，我们差不多从 5 月 中旬开源到现在有 7 天 star。
然后呢，我们的那安装数，我们在那个 Docker 镜像拉取的安装数也能看到，差不多有 1 万，外面有 1 万多个安装的这个私有化部署的版本。
Docker 1 万 安装数是什么意思？
我今天会扮演听众的角色，所以有的问题我觉得大家不太理解，我就会问一下。
好的，那其实是我也不太理解。
简单来说，你可以理解为我们 Defi 的私有云的版本被打包成了一个镜像，或者说压缩包，你可以理解为压缩包，这个压缩包呢，我们可以跟踪到下载的次数，它下载不是这种简单的浏览器下载，它是通过一个命令下载，它必然是会安装到它的服务器上的。
OK！
OK 对，类似于一种下载调用的感觉。
对。
你可以理解为 Defi 在外面有接近 1 万多的私有化的安装数，以及说我们公有云的云服务版本的，现在能看到 4 万多个应用，嗯。
真的大家用它做出来的大模型的应用，对。
因为我们今年也看了很多 AI 产品嘛，就是我们前面几周也在跟用户一直做直面会啊，或者各式各样的活动。
我们发现 Defi 的受众开发者，他的质量是非常高的，第一是他们跟我们讨论非常严肃的问题，他们是想拿大模型的能力去做各种的应用的开发投产。
无论是面向市场的创业，还是说卖给甲方，还是说满足公司里的各种业务需求，哪怕仅仅是一些实验性的，都是非常严肃的情景和严肃的需求。
其实是自从 Defi 开始，我们才比较关注 GitHub 这个平台的。
我们之前其实看开源看什么这些不多啊，我其实自己特别喜欢 GitHub 的，现在啊，我觉得里面真的是有很多人在无私的奉献，而且他可以收到很多全球的正反馈。
大型同性交友社区。
对对，我们现在也会经常每天去扒一下说诶哪些项目他得了多少 stars 对吧？
啊， Defi 当时我记得是我们聊的过程当中上线，然后几天就冲到了大概两三千还是三四？
对。
我们是差不多一周冲到 3000 是是啊。
但你们其实也没做太多的运营动作嘛？
我们真的除了发 Twitter 就几乎没有做运营啊。
那你的 Twitter 就我就几百粉丝还是多少粉丝？
呃现在是有好几千我说话都很小心啊哈对对对！
你说话一定要小心哈哈哈。
但后来我们听说其实 GitHub 上还也有那个基于 start 的 SEO 对吧？
我们之前其实有两年看消费品牌，不管是跨境还是什么也好，有发现有有人就是刷单啊，刷空包。
但 GitHub 上现在其实很多投资人也会去看对吧？
去用 SaaS 来衡培养一个四大驱动开发嘛？
对对对对对啊，这个是事实嘛，现在真的是有很多基于 GitHub 的 SEO 去做 stars。
我就会收到很多邮件，老外的或者什么印度的，哪里给我发什么，你给我多少多少钱，我们可以帮你刷到多少多。
我确实收到过很多，我没有理他们而已，我也不知道做这事代价的，我肯定不敢做这事了。
GitHub 现在的 star 是有水分的，因为今年本身 AI 就给给他们注水了，不同题材的项目也不能放到一块比。
这种全自主 agent 的，它自然比我们这种什么 IM OPS 的品类可能要火一个档次啊。
它其实就跟文章是一样的对吧，你是一个热点主题，自然流量就是高的。
对，但是有别的手段，比如说我们看一个项目，可以看他别的数据跟他这种惯常性的在用的数据关联，比如说我们看着我们的镜像被拉取的次数，如果是一个 Python 项目，可以看它 Python 包的被拉取的次数，什么 NPM 的也会有 NPM 前端的包的拉取次数。
看这些数据会比单纯的看 star 要靠谱一点。
你可以看一下 Google 上搜索的趋势，几个数据要结合到一块去看，你能更反映出这个数据的现实。
因为 GitHub 上有很多开发者用户是今天打开一个项目，刷一遍，哇，太牛逼了，点下心就跟浏览器点收藏一样，然后关掉了，这是很多人的行为模式。
第二是 GitHub 它本身有马太效应，它有日榜，周榜，越榜，两者越强嘛，就是你上了榜之后，你会突然又又增量一部分，这都很正常。
那我们反正今年看了很多项目，所有人基本也都在问，说到底现在市场上真正能落地的 AI 项目有什么？
我不知道，在你看来，因为你上面有这么多，你说 4 万多个应用嘛对吧，里面到底有没有哪些规律或者什么是靠谱的啊之类？
我们一层一层往下看哈。
首先是模型层面，模型层面现在我们看到的是 open AI， 明显是模型领域的领军者，它无论是在模型能力上，还是我们说 API 接口，也就是说它提供的功能上都会比其他模型要好出这么一大截，可能是一个 80 多分的水平，第二名可能 Cloudy 或者其他的可能就是在六七十分的水平，离它有一定差距。
然后我们还能看到这个很多拿开源模型的，这种拉玛呀什么的，各种去折腾，这些的都有，但是我们认为首先你想现在去做一个离生产离落地最近的，首选的是 OPAI 的模型，当然咱们今后可以把它换掉，比如说你看到更好的国产的或者开源的模型，可以换掉这个模型层你接入进去之后，你紧接着就会去定义你这个应用。
我们现在从简到复杂，可以把这这个应用的中间的服务层可以定义几个级别，最简单的是说我们叫 prompt a service， 它是由几个简单的 prompt 组成的，比如说你想去做一个文法的纠正啊，或者说评论的积极还是消极这种分类啊，这是大模型的基础能力，嗯，这是一种应用，这种显然它不能去作为独立的应用去做，它可能是你原来的应用的增强，或者说你可以把它封装成更产品化的应用。
比如说 Jesper， 可能大家听说过帮你大量做这种市场文案这样的应用，这是我们见到的最简单的第一类应用。
然后再往上，基于私有的数据，因为大家知道这个 open AI 这样的模型大部分数据是截止到 2021 年 的嘛，我们就会给它去提供这个私有数据搞进去的。
这个方法让大模型了解一个私有的数据有两种方式，一种是说微调这个模型本身，另外一个就是做模型的 embedding。
呃，模型的 embedding 就是一种把私有内容嵌入到 prompt 里的一种，也叫 prompt 工程的一种方式。
嗯，它基于大模型现有的能力，再加上一个大家理解为一个外脑，去集成你各种的私有，各种的知识，知识库，搞领取，这是一种方式。
这样的话，你的能力，大模型的回答的问题就不仅限于它现在有的东西，而带有了你自有的，企业内的啊，或者说是一些知识。
但 embedding 这一步，私有的是什么时候去调用的呢？
它跟 prompt 的区别具体是什么？
embedding， 你可以理解为它是用户或者开发者调用大模型前的一个 prompt 的组装过程，我们叫 embedding。
嵌入嘛，其实嵌在 prompt 里的，比如说你现在拿 GBT 这样的接口，可能有 8K 对吧， 8K 的这么一个 TOKEN。
那比如说我们大模型说，今年曲凯老师做了哪些项目啊，对吧？
嗯，那大模型是不知道这个能力的。
但是在回答这个问题之前，其实像 Defi 这样的产品，我们就巧妙地把你的这个问题和我们已经有的向量数据库或者其他关系数据库里面的各种数据去组装成一个完整的问题。
就是说可能组装成渠道老师是谁，对吧？
他今年，我们搜索到，今年呢，做的项目是？
呃，可能有哪些？
然后呢，用户问了什么问题？
这几个东西拼成一个更长的一个 prompt， 给到大模型之后，大模型基于这些信息去做了一个文字的生成过程。
那这样的话，它基于所有已知的信息来好好地回答你这个问题。
调用的信息对于大模型来讲，它其实它就是 prompt 的内容嘛。
对，对他来说只是一个 prompt。
所以有可能对他来讲，他觉得这个人发了一段超长的 prompt。
你可以这么理解没有问题啊啊，对，只不过说我们把它叫做 prompt 工程的原因是我刚才说的这个过程很简单，但实际在做的时候会有很多工程细节。
嗯，比如说一个 8K 的 prompt， 因为一共就 8K 嘛，是你就得知道说我得命中什么词啊，命中什么样历史的私有数据塞进去在多少，比如说一个 8K 的这个上下文指的是用户提问占了一部分，然后你命中的信息占了一部分，一条也是 5 条也是 10 条也是多少，然后还要给他回答问题预留出 front， 就是总共的容量是 8K， 那么这里字符或者说 TOKEN 的分配就会有很多工程问题。
嗯。
明白，这里还没有涉及到声量数据库的部分啊。
这里实际上用到的相关数据库，对。
就是 embedding， 其实是会用到相关数据库。
对， embedding 本身不用，但是 embedding 搜索到的一些自有的数据，是用到了向量数据库的相似度匹配的一种功能，它有点类似于搜索引擎，但又不太一样。
对，它核心也是为了节省那个 bucket TOKEN， 对吧？
对，我可以这么理解，对吧？
是，嗯，你再回到刚才你讲另外一条，就是 fine to 微调的，但好像微调我觉得一开始的时候大家讲得比较多，我们记得我们二三月比较早期的时候聊下我们大家都问说诶，你们是不是 find two？
find two find two 后来好像越来越少人讲了。
坦率讲，我们做 Defi 这个项目，刚开始我甚至不叫 Defi， 我记得当时叫 timer AI， 驯兽师。
那当时我们最早定义项目时候，其实我们就想做 finish， 嗯，因为我们觉那个名字还挺烂的，特别烂。
对，但当时很早期，很概念期，我们认为说想把大模型塑造成自己的样子，因为你想在二三月那个比较早期的时候，每一个开发者看到大模型的时候都非常兴奋，想我是造物主播，可以去做一个自己想要的这个 AI 这个形态出来，那么第一想到的就是我可以去调这个模型，微调。
嗯，但是微调这个事呢，不太好操作。
第一个是因为它要求的数据量蛮大，而且要求许多的 QA 形式的样本，比如说我想让大模型知道徐凯老师是谁，嗯，那么呃，想让大模型知道这个数据，基本上要这个问题换着花样问，问 20 遍，再换着花样回答 20 遍，再交给他啊，就灌进去，他可能才能达到这个效果。
其实这个数据准备的过程就非常麻烦，因为你可能就没有这样的数据，你可能胡编乱造，或者来自用户的回答，你得有这个数据，而且你让他学习更多东西，你就得有更多的这样数据。
还有一个点就是微调的时候，实际上是要把一个模型去加载到你的 GPU 显存里面的，就是它非常吃资源。
嗯，所以说，如果说你自己的开源模型，如果你要做微调，你可能需要运行那个模型，就是我们叫推理这个模型的机器配置的 2 到 3 倍。
呃，如果你是用 open AI 这种商业模型，那可能会给你一个微调的 API， 你把数据喂给它，那么可以微调。
所以微调其实是一种不太划算的，只有在特别必要的前提下才需要用的一种能力，它对于大部分开发者来说还是门槛太高了。
对，所以其实刚才讲的那个场景，我觉得就是大家用 embedding 能够变相地去解决这个问题了。
对。
我当时我把大模型本身跟大模型本身能力的工程化，我当时写了三步放在我们 blog 上，第一步是他们的工程本身，第二步是 embedding， 第三是微调。
这基本上就是从易到难的三种选项，就是基于你的情景，你你想怎么做，你可以选择一个划算的方式。
比如说一个什么典型的情况，你觉得更适合使用 finding， 而不是用 prompt 或者 embedding。
比如说，你希望一个大模型在没有很复杂的 prompt 情况下，它默认回答的风格。
比如说，你做了一个 AI， 是用来写诗的，嗯，他，你想他写的诗非常接近你想要的这种风格。
就是他更普适的对这个大模型的性格进行了改编。
对对对！
是是是。
OK， OK， 明白啊，这里面还有个东西是 fewshot 嘛，是吧？
fewshot 是在每一步的啊。
one shot， few shot， 它也是 from 的工程的一种技巧。
嗯，实际上是，我看到论文是非常有用，它能对你的大模型回答的结果符合用户预期的，这个概率能净提高百分之二三十。
嗯，解释一下，就 one shot fewshot， 实际上是在 prompt 里面去给它一个少样本或者多样本学习，因为文本大模型它本质是一个文本补全机制。
就说你告诉他一堆东西，然后呢他试图在你这后面去完文字接龙，在后面拼，但是你只给他。
Tom 的情况其实是给他一个指令，比如说你说你让他写一首歌，他歌词应该是什么样的风格，那首先他要做的事是理解你说的这个东西。
你说咱俩之间沟通，可能我跟你说你都不一定能理解，嗯，我可能都要举个例子，那大模型更是这样，嗯，所以呢，作为一个文本补全的这么一个原理的一个模型来讲，你给他一个或者三个 5 个例子的时候，实际上是在对你的指令进行一个补充，让他去在他的参数里面去寻找更接近你想要的这个东西的一个结果。
所以说我们如果说想控制大模型的回答这个准确度呢，这个可能 one shot feature 是必不可少的一个技巧。
嗯嗯嗯，这个基本就是比较浅层的所有的可能大家能用到的接触到的东西的对吧？
再往深呢，就是说就是推理啊，就是真的是从再去自己去模型之类的东西。
这里就不得不说这个 agent， 我们前面说这个 Tom 的工程，再说到 embedding， 再说到模型本身都是在解决一个问题，就是模型在单次会话的时候回答什么的问题。
但是我们在考虑一个复杂的情景中，比如说我要一个 AI 的机器人帮我去订一张火车票，嗯，机票这样情景中，它其实模型需要一个多轮对话，或者说多步的推理过程，那这个推理过程我们把一系列的能力封装进去，它就是所谓的 agent 的一个技术。
agent 就是说意味着让大模型利用它的推理能力，利用它的上下文去反复地去可以和结合它手上可以用的这个工具。
工具是打引号的，就是比如说搜索的工具，上网的工具，标 API 的能力等等，去完成一系列连续的动作，最终达到一个目标。
嗯，所以这个就是 agent。
然后呢，现在 agent 有三种，第一种是纯手工编排的，怎么讲？
纯是无编排，就是你第一步干嘛，第二步干嘛，并且调什么工具。
那还叫 agent 吗？
它不是 agent， 编排的就是 CHAT， 就是一个纯粹的售。
RPA 也能实现吗？
对对， RPA。
第二种是完全自主的 agent， 但是这个自主 agent 非常的不可控。
其实我们现在在探索一种中间形态，用了部分的编排的能力，再混合了它一些自主的能力去实现一个相对可控的状态，以及反过来，如果一个 agent 它表现比较好的时候，就是完全达到我预期时候，我可以把它的动作和一些工具反过来预存成一个编排过的 agent， 相当于它完整地进行了一次推理，达效果还不错。
嗯，这个过程是可以重复的，我可以把它存下来，当 AI 有一系列动作表现好的时候，你得激励它就反复去做这件事跟养狗有点像哈哈哈巴普洛夫的狗是吗？
巴普洛夫的狗嗯嗯嗯但我其实一直没太理解啊，就是 auto GPT 出来以后，应该是最近几个月以来，好像 SaaS 最多的最火的，跟大模型相关的一个一个概念了，对吧？
但我其实从他说的时候，我就一直没有特别理解为什么他一出来引起这么大的轰动，因为在我的理解来看，我们自己还在很早时就提过说 AI 大模型发展的方向应该是从口 pilot 到 pilot 啊。
其实本质来讲就是人介入原来少什么过程，那人介入到足够少的时候，它自然就是一个自动的系统了，对吧？
它自然就是一个 h 端的概念。
我觉得这是一个点。
另外一点，听起来你刚才讲的那个 auto GBT， 本质上来讲就是给它一个嵌套的逻辑，对吧？
我现在问你一个问题说诶，你怎么拆解这个问题，然后我再给你个指令说，那你按照拆解你自己做出来，我觉得是一个非常简单直接的一个概念。
对，我不知道为什么大家现在就不管是从早年的 auto GBT 还是到现在的 agent 概念这么火，为什么会这样？
包括我，我们都是对 agent 这个概念非常兴奋的一群人，我相信很多开发者都一样，因为我们现在已经明显看到了 AI 能提高人的效率。
嗯，现在是叫什么？
现在叫做帮你更快地完成一件事？
嗯，很快就会变成说帮你完成一件事，然后呢？
再往后就是帮你替代一个人。
就是 human 的 loop 的程度嘛。
从人人工要强介入到人工不介入的一个两端嘛。
对。
因为 agent， 他的这个推理过程实在是太接近人脑的过程了。
我们总体上相信， agent 到了一定的成熟度之后，他就是一个员工。
为什么大家对 agent 和开源模型这么热衷，是因为我觉得它就实现了一种这个时代的技术平权。
一个工程师，一个技术人员，他们从来没有如此接近一个这么强大的武器。
虽然它成熟度不高，但大家想到的是，当我有了这个东西，我可能这个可以以一敌百啊，我可以说和大公司去拼一拼啊，做各种我想要的事情啊，所以这个东西对他们来说是实在是太有吸引力了。
是。
这个我肯定是同意的啊，这这个 vision 肯定也是好的。
那我就说它，我感觉 agent 它只是口派的的概念，一个自然的延续，我觉得它不是一个质变或者多大的一个跃升的感觉。
嗯，对。
anyway， 对。
但 agent 我们现在看起来，大家对它最大的诟病就是它的成本有几个问题。
一个是它的上下文窗口还不够。
因为你要处理一个较为复杂的工作，你需要一个非常完备的一个上下文。
也就是说，比如说你想写一个软件项目，这个软件项目本身可能正常来说都是 10 万行代码以上，那么意味着说大模型在做这个事的时候，必须把这 10 万行的代码全部装载进去，去做第一个上下文窗口，我们相信这个问题随着时间可以解决。
第二是模型本身推理的质量，我们现在比如说看到 GBT4， 它的推理能力非常好啊，但是它偶尔也会出错，我们可以去试，比如说那个 ChatGPT， 它自带的那个代码解释器，嗯，它本身也就是一种编程 agent， 你给它东西，它可能一般还要反复自己纠正几次达到效果，也就是说他自己承认他第一次推演的结果可能是错的，或者信息不完备的，就是他推理质量现在不够，这个我们相信也能解决，嗯，对吧。
第三个就是工具的质量，我们认为就是一个 agent 的技术栈，里面包括了大模型，也包括了我们本身的一些推理算法、推理逻辑以及 Prom 的工程的一些技巧。
还有就是说工具解决一个情景需要哪些高质量的工具可以去满足各式各样的需求。
比如说我之前就是我们做过一个内部的工具，让大模型去辅助软件工程师，是帮助他们完成 API 的自动化测试。
那么这个自动化测试过程中，首先要去检查所有的 API， 我们发现市面上所有的这个 API 的定义的格式语言都很长，这样大波心里面就很很慢，或者残缺了，不够了被裁剪了，我们实际上就自己发明了一个可能只有一半长度的这么一个语言来解决这个问题。
所以说这里有很多工具层面的问题，也需要其他技术去适应这个大模型。
明白诶，你刚才其实提到了几个大模型的局限的点，对吧？
一个是上下文关联长度的问题，嗯，是吧。
然后这个其实类似于上下文，下文记忆的问题，常文记忆的问题，嗯，还有就是成本的问题，对啊。
还有什么问？
还有比如说还有幻想他有注意力不集中。
注意力不集中指的是错记、漏记。
并不是因为我。
我前面提到大模型它是一个文本补全机制，比如说你给它一个 5000 字的 prompt， 它会接近尾部的那些。
对对，越接近的它的权重越高嘛。
所以这个权重其实我比如说咱俩现在聊天，我给你吐了 1000 个字，其实你听我话，讲完之后你不管，我可能说了很多废话，口水话，你都能抓住我的重点，是因为这里不仅是你作为人类的高超的理解力，你还能感受到我的这个情绪啊，停顿啊这样东西。
但大模型基于文字想去获得这个信息是比较困难的。
对，我其实跟我们同学也经常提这个点，就是抓重点这件事情，我觉得人都很难做到，不同的人让他读一篇文章，每个人抓的重点都是不一样的。
对，更别说大模型了。
也就是说，在现在大模型眼里，因为现在还没有进入全面多模态的这个情况下，基于文本，你给他 5000 个字，每个字对他来说权重是一样的。
是啊，你这么理解这事就好。
对，但我听过有一种解决方案，是在用另一个大模型帮助这个大模型，对吧？
我我先帮你把这 5000 字总结了。
可能问这个大模型问题说你帮我把这 5000 字总结了对吧？
抓一些核心的重点，或者让他记一些核心的重点？
对啊，然后两个模型配合着来用，你觉得这个是一种解决方案？
我觉得这个还是需要一些人工的介入，完全自主化的情况下其实并没有解决这个问题，因为你说的这个就是上面的优化嘛，把一个长的缩成短的，但是首先前提是他自主地完成这个从长到短的过程是 OK 的，而且你要给单位先下指令，不是说你文字短就能解决问题，你还是要测，还是要，比如说 one short few， 超 shot， 你可能少不了的。
是是对，所以我觉得可能大多数项目它日常落地的时候就是不断地在做这些事情，感觉在一个既定的规则底下，他尽量地去不断地调优。
对，这个就是我十分想说的。
现在我们看到好多软件团队，他们今年开始基于大模型的 API， 基于 Launchan， 基于 Defi 这样的产品在做这个事。
但是他们首先第一个需要迈过的坎就是 Prom 的工程，嗯，其实这个恰恰恰是他们现在最难。
我刚才说的三四种路径里面， Prom 工程首先是第一条最简单的，嗯，但实际上对他们来说，时间难度恰恰是最难的，嗯，因为首先第一大家都没有经验，从来没有做过这个事，嗯，对吧？
第二呢，就是人和人之间默契都得配合，更不要说人和模型之间，对吧？
你其实要不停地跟他找感觉。
我们自嘲我们的内部的，这 Prom 的叫工程师，叫 Prom 的艺术家，嗯，找这种感觉，首先是他们要逾越这个事。
所以我们你看为什么做 Defi， 是因为你基于大模型的能力，它很强，但你想它达到预期。
这个过程有很多台阶要爬，它并不是一个高山，它就是一个一个台阶，你要爬。
嗯，每一个团队都要一节一节地往上爬爬去解决这个问题。
define 可能就是解决了中间很多这样的问题，因为我们发现很多团队在做一模一样的事，就是在从第一步开始，第二步开始去搞这些问题。
embedding 啊，这个权重是多少啊， from 的工程啊，这个 from 的应该怎么写啊，怎么测呀？
就这些问题。
但你后面打算怎么帮他们做 Prompt 这件事情呢？
如果按照你这个逻辑来讲，后面你应该是要做 Prompt 社区的，或者说做做一些相关产品功能。
首先我们得有好的 Prom 的工具，就是一层一层解决嘛。
第一层是 point 工具，就说我们传统企业软件是不是有 code 的，这个 IDE 叫集成开发环境， vs code 啊什么的。
首先基于 prompt 就得有 prompt 的 ID， 就是我快速地写一个 prompt， 然后可能有 10 种变种，再快速得到 10 种结果，在 10 个模型下的不同的结果。
嗯，然后怎么去纠偏，我预期的结果是什么样，现在这个写的这个 point 达到的结果和我预期结果是这个相比来说可能是多少分？
就这么一个过程。
首先你你先得帮人在一个自然的没有辅助的情况下能高效做这件事，嗯，我觉得这是第一步，所以我们得有他们的工具。
对，这个是真自然语言编程，对对对！
是是。
然后第二步，你得是有一些引导，或者说一些模板，就我们可能系统内部也内置了一些模板，就是解决哪类问题的时候，哪一类范式是最好的，这个我们内置有一些模板，甚至比如说我们可能最近在接很多模型厂商，国产呐什么的，呃，我们和模型厂商的合作会比其他的产品要更深入，比如说你和他 long 颤支持二三十种模型，什么都支持，但是他仅仅是简单地支持啊，我们在做模型的知识时候，我们会和模型厂商去合作，我跟他聊你这个模型的特征什么样的，你能不能把你技术黑箱里面那些东西打开一些给我看一看？
嗯，你告诶你看吗？
他会告诉我，因为他们有调试的报告。
OK， 就是他会告诉我说你解决哪类问题的 point 怎么写是最好的。
那这样模板给我过来之后，我们的模型给开发者拿去就是开箱即用的。
首先它跟模型厂商沟通成本也很高。
第二，我这是调过的，因为不同的模型它的调性都不太一样，甚至要换一套写法，那可能我有这个模板跟每个模型都调过了，你拿去用就好了。
这就是很多很多细节，帮开发者少走弯路的一个方式。
第三种就是有点像跌进你刚才举的那个例子，就是拿高级的大模型去辅助相对低的这个 prompt 编写的技巧，去帮他去做 compilet， 就是帮他去辅助去编写。
你可能知道 OPAI 官方有一篇论文，他指的就是说如果你拿 GBD4 去解释 GPT3.5 GPT2 为什么这么回答，它是可以给你一个解释的。
嗯。
对，好像之前也有人用比如 GPT4 要生成那种问答对对吧，然后再放到其他的模型里面，对。
对，是。
所以你觉得整体而言， prompt 这件事情是现在是被高估还是被低估？
你是说它的难度还是什么难度意义？
我觉得它的潜力被低估了，它的难度也被低估了。
OK， 对，嗯，因为其实是 open AI 自己的人之前写过一篇文章说大家不要好像是 Twitter 吧还是什么的，就大家不要过于花你在 problem 这件事上，然后说它其实未来它可能是一个阶段态的东西。
prompt 现在可能还必不可少。
首先， prompt 确实可能是呃，不可或缺这个东西，嗯，但是写 prompt 的难度一定会越来越低，嗯，因为模型本身在改进，呃，像我们这种工具可能也会提供很多研发的这种范式。
是很多人是我写一段 prompt， 这段 prompt 的作用呢，就是帮助把你的话变成一个更好的 prompt 对吧，再输入进去，嗯，反正也就有很多嵌套的东西，我觉得还挺有意思的。
对对。
是是倒回到刚才那个大模型的问题啊，大模型所以除了注意力什么的，还有什么别的你看到的问题吗？
啊，成本也是一个问题，特别纠结成本问题。
在一些比较窄的领域，因为你最终做应用可能是映射到几个，比如说法律啊，教育啊这种垂直领域。
但是一个通用大模型，它有好处，它的通识非常多，推理能力非常强，但是它衍生的问题就是说它的性能会慢，它的成本也会高，因为这是它代价，它从 0 岁到 18 岁之间这个爬坡的代价。
其实我们希望有垂直的模型，然后呢，性能性价比又非常好，我之前跟模型厂商也聊过诶，理论上其实不太容易存在这样的模型，比如说你们现在可以看到一些开源模型，可能很小，什么 6B、 13B， 然后又说可以简单的微调，能达到一个专业领域的，它实际上在文字的模拟，你就照猫画虎这种事情上，它确实能有很好的效果。
就你微调完了之后，它很懂法律，但是你但凡问他一些有推理的一些事就不行了，就是有逻辑的事他就不行了，他没有推理能力，因为他的模型参数不够。
嗯，所以这个是目前一个主要的问题。
所以我们可以总的来讲，可以说其实大模型的学习能力相比人来说还是挺笨的，因为你想他要吃掉几乎全网的数据，他差不多达到了一个可能成年本科生的这么一个水平。
那人可能说今天一天呃两天在课堂上或者说网上看到一些东西，他学习理解速度要很快，就像我刚才说的那个 feel short 的问题，微调的问题。
我跟你说一个问题一下就明白了，那当我先得说 20 遍是。
但也有一种观点是说，其实是人类提问的能力太差了，因为理论来说所有的答案都在大模型里。
对对对，这个问题确实比较难解决，但我们相信多模态能解决这个问题。
在模型层面上的多模态训练可以解决这个问题。
我经常举的一个例子就是说跟大模型问，你问他一个什么某一种木材，非洲分木的一个木材做得吉他，他什么音色，他可能会跟你说什么温暖的，锐利的，其实他不明白他在说什么。
你问他另外一种木材是什么颜色，他可能也会这么回答。
原因就是说这里没有对齐，他对这些词背后的那个意义没有概念，接收概念本身就是错的。
因为人在描述这个音色的时候也不知道用什么，所以就用了几个接听的词可能说一下，所以就是人和人之间沟通都对这个事有信息的赠号。
我明白了，我明白了，我完全理解。
我给你举个例子，就好像我期末考试突击了两天要去答卷，感觉我写的好像是正确的，但我其实也不知道我在写什么。
对，嗯。
是。
就是说大模型的训练过程中，就会有一些已经不太准确的信息，你再给他一个不太准确的问题，他还要去试图回答你，用户还会说你怎么回答得不对。
就季彤雅讲了，对对对，你接触了这么多大模型，你们团队应该有自己一套评估大模型能力的体系有吗？
我们有自己的角度，市面上现在有很多评分的体系，国内的海外的，我知道的评分榜单啊什么可能就 20 个以上了。
首先我相信那些数据，因为我们再去做一个评估的手段，成本非常高，嗯，可能做的还没有他们专。
但也有很多弹幕现在刷题嘛啊对对对。
但是你就取一个均值，你大概能知道它是什么水平。
那我们的评估标准是我们先和大模型是真的近距离接触，因为我们去拿它去调优惠的东西，以及说我们有用户的数据，比如说 define 上现在有接近可能接近 5 万的应用，这 5 万的应用它在在哪个模型上，最终选择哪个模型，以及说哪个模型的效果可能更好，性能更好。
嗯，然后呢，有留存，我知道这些数据，嗯，这个对我来说就够了。
是目前看起来各个大明星之间各有优劣，对吧？
在某些领域里面，对吧？
对，比如 Openai， 它可能推理能力更强，然后那个 cloud， 什么上下文更长等等。
你觉得未来大模型这块大家会是混用的一个情况吗？
还是怎么样？
会的会的，现在就已经有啊，比如文本生成的环节，合理的环节， embedding 的环节，甚至还有这种声音转文字，文字转声音的环节。
很多环节现在在我们的这个工程里就已经开始混用了。
那等接下来就是这种多模态出来之后， OCI 的这种能力，各种能力精进了。
它一定是多个模型之间配合的过程，因为每一个模型都会有自己的擅长领域，以及说它们的成本也会不一样。
所以这块其实是 Defi 能产生很大价值的地方对吧？
也是相对这个系统会有复杂度的地方。
对，我们想象两种情况，一种是说未来商业模型垄断了整个市场对吧？
在这种情况下，那么每一个模型会提供自己的一套解决方案。
嗯，但这个解决方案呢，就是整个封闭在它的那个体系下，比如说 open AI 肯定有自己一套啊， cloudy 可能有自己一套， cohear 有自己一套啊，这一套可能有他自己解决方案，但是你就可能就有一个环节不满意，你就想用另外一家的。
嗯，这是一种情况下。
另外一种是开源，开源的情况下可能我们会看到一些，现在百魔大战一堆模型都出来之后，那么他们之间在各个领域会有自己的专场。
对于 Deflt 来说，可能开源模型如果说繁荣的话，对我们来说是更有吸引力的一件事，因为相当于说这里的工程可以做的事情就很多了，大家能想象的可能性就很多了。
那如果是封闭的这种商业模型去去垄断市场的话，我们可能相信一共也就 3-5 家赢家，这 3-5 家每家有自己一个派系，模型的多样性就少了很多。
是你目前看起来，你觉得更倾向于哪种会发生？
我现在从近一两年的角度来讲，我觉得还是商用模型为主，无论在效果上、成本优势上都好很多。
开源模型现在来说还是比较早期，但是它仍然让人兴奋，但拉不了桌子。
很快嘛，然后国内 GLM 其实也效果还不错。
对啊，我我身边很多人，我问他们一个问题，包括我们现在社群里面的，嗯，我问你们知道 AMA 的运行成本是怎么样的吗？
就比如说你想和达到 GBT 一样的，比如说就说 100 个并发吧，跑起来，然后在服务器上，你知道你需要多少显卡，大概是什么样的配置能让它稳定运行吗？
没有一个人能回答我这个问题，这是为什么？
让我们自己在研究说明，第一他们没有到这个阶段，第二是现在大家不在乎这件事，就大家享受这种做造物主的乐趣，我去赶紧动手把这东西搞起来，或者说如果去做一个技术实验，大家还是在这个技术验证的角度考虑更多，而不是说放到投产角度更多。
我刚才提的这个问题，推理成本问题就是一个很重要的一个问题，不然的话你的稳定性都保证不了。
但是你可能说抓 100 个人里面可能只有一个人知道这个事。
嗯嗯， OK！
interest。
所以我觉得开源模型可能离它真正投展还是有相当长的一个距离的。
OK， 嗯，明白。
但商业化模型应该也是那几个混用。
对吧？
商业模型就是你，你可以选一个 open AI 的，你可以选一个百度的，或者怎么样去各自分工去解决他们擅长的问题。
是对一堆投资人会问过你一样的问题，包括所有做中间层的人都会受到一样的问题，就是这个事是不是未来大模型自己会做掉，尤其是国内投资人会问这个问题问的最多，然后我一般的答案都是，我觉得模型层就是我像我们刚才讲它会混合起来啊，它是多个模型同时存在的，只要是多个模型同时存在，那中间层就是有很大的价值啊。
我不知道你你现在是怎么看这个问题的，如果今天再有个人问你说，诶，这个事大模型是不是自己就做掉了？
大模型认为代表他们一定会去做自己蛮好的开发的工具包，嗯，甚至是中间件服务，我觉得这个都挺好的，因为他们离模型的这种技术细节也更近。
但是他们有这么几个问题，第一个是他屁股不对，所有的事情是围绕他自己的那个模型嗯去做的。
第二个我经常说的是说我呃，云厂商做不好 SaaS， 看全球范围内，云厂商几乎没有说自己在哪个 SaaS 产品上做得特别好，要么就是收购，因为他们的基因全部是导向到最终去卖资源，他们不对这个开发者体验，甚至我们说接下来泛的 prompt 工程师，或者说一些其他的 IM OPS 的人员去友好这件事也不是他们的基因之一。
第三个就是他们做这个中间件本身，因为他不中立嘛，所以呢，他在开发者角度来说，他们会保持距离，会比较谨慎。
比如说现在的开发者，他们在选 Defi， 或者是说 long chain 也行，选这样的产品时候，他们其实就啊没有什么心理包袱，因为他知道你不是任何一家的，你后面的模型可以想换就换，我可以先拿这个 open AI 的能力去做一个最好的这个原型出来，然后再换到我想要的模型，这过程很自然，嗯，没有问题。
但如果说你试图你拿到一个微软的插画工具包，只能接它的模型的时候，你就会有疑虑，万一说你模型下来跟不上市场的发展或者什么，那我的代码得重写吗？
肯定不能这样。
因为我们做中间件解决了一很重要的一个问题，就是把 prompt 工程和它的原来的这种程序代码做解耦，就是分开就代码跟代码，中间件归中间件。
我们做有一个价值就是做这个事，我好不容易把你分开了，然后你还要再把我黏到一块，那你不行。
是是是，确实就是你从这个角度来讲，好像这个问题就很无厘头的，本来他的核心价值就是分开，嗯，然后你们现在观察的这么多个应用和大家在你平台上做的事情，有没有得到一些跟市场不同的一些结论，一些观点什么的，或者一些有价值的思考跟发现。
通过实际的大家的应用，你们看到的东西。
不管是商业模型，开源模型，就是任何开发者啊，厂商企业要去基于现在的模型做点事，肯定是有一个周期，不管是你打样原型，还是说产品调通，再到用户进来，得和原来做软件一样，你至少得有个 3 个月的周期吧，3 个月到更长的周期，每一个环节认认认真做，这个心理准备的又没有那么快。
嗯，用了 Defi 跟没用 Defi 到底能缩短多长时间？
就我们观察，比如说如果以 launch 为基准的话，大部分的这种典型应用可能能缩短 1 到 2 个月的开发时间吧。
但这个不是重点，重点是我们说 OPS 指的是后面你需要各种人参与进来，这个反复运营的数据维护的时间，很多市面工具解决不了的，它不帮你解决后面的问题，它就算帮你解决了第一个阶段开发的问题，播放解决后面的问题。
比如说数据集的维护，我们刚才提到私有数据，那私有数据你肯定不是录一次进去就好的，你 embedding 进行的数据需要精细地分段对吧？
需要所有人都能掌握这个数据，需要给这些数据去增加权重或者降低权重，可能你在国内还需要什么维护一些敏感的东西，然后接下来 agent 之后你会有各种各样的工具，哪个工具效果好，你要把它申全，哪一个工具不好，你应该把它剔掉，有很多这样的这个事要人反复参与进行的一个事。
对，而且你你刚才还讲了一个点，我印象很深，就是你说不可能这公司里面只有两个懂 AI 的人来做这些所有的事情对吧？
未来可能是大家所有人去围绕这个来做配合。
所以你做的这件事情， define 做这件事情就是我完全不懂 AI， 我就是一个真的运营的后台的人，我也可以去做所有的 AI 相关的运营，然后并且持续的能真的改善产品的效果。
因为我们相信，如果做不到这样的话，那 AI 的可塑性的潜力就没有被最大的发挥出来。
如果每一个人，他没有能轻松地去塑造自己这个符合预期的 AI 的话，那么世界上的 AI 就仍然掌控在少数技术人员的手里。
嗯，而他们对世界的理解是片面的。
所以你其实也是在推动兵权。
那当然，那当然。
哈哈哈。
OK， 刚才我们提到好几次 launch in 对吧？
这个 launch 其实是今年如果说有几个 AI 相关的关键词， GPT， launchain， auto GPT 等等，这 agent 这些应该是跑不掉的。
所以 launchain 到底是一个什么东西，我觉得大家经常在讲，那可能这几个词里大家对 launch 的理解是最弱的。
launchain 你可以理解为它既是一个工具箱，也是一本耀科书。
我前面提到的，说大家在探索 Prom 的工程，或者说跟大模型怎么接入一系列的事情。
郎灿从去年 11 月 开始做了一件非常有价值的事情。
呃，人们在每个阶段有疑惑的时候，它正好是顺手可以取到的工具，它是一个 library， 就是开发者的库啊。
就比如说你拿 Python 或者现在叫 JS 去写代码，接入大模型，然后比如说你从模型的驱动接入哪个模型，模型的模板，我这一个 point 里面哪些词要替换掉。
然后还有一个很重要的概念就是它的 chain 就是链条。
一个调模型之前你要干什么，调完模型之后你要干什么这些抽象的概念，它把它封装成了一个比较简单的形式的代码，你给他写代码的时候去用它这个概念，这就是 long time 做的事。
它有点像一个 API 之类的那种概念，就是它是一段一段的代码啊，就是我要用哪哪块的时候，我直接把它那一段复制粘贴下来，是这么理解吗？
我们编程叫方法，很多很多封装好的方式，你用说复制代码也没有问题，因为我们自己对 launch 非常了解，对它的准确理解，它是一个 Cobook 菜谱，各种你要用到的调味料啊这种东西都在里面，你可以拿它去用。
但是呢，它有一个问题，它其实是一个非常早期的产品，它在大家关心到模型的时候，把所有需要东西一股脑地放进去，油烟、酱头都在里面，你可以拿。
但它其实因为太早了，没有经过很好的设计，当你做到比较深的工程的时候，你会发现它不够用，你必须改它。
第二呢，它以一个成熟的产品的形式来说，它没有，就是 service 化，它不是一个服务。
嗯，它仍然是一个代码库，你需要去维护它，需要和你的代码去耦合，它并没有像我们这样去和代码去解耦。
第三是它的那些封装的调味料啊、食谱啊，其实都非常非常的浅啊。
因为 long chain 的他们的团队的最大的能力是动员很多开发者加入他们社区，帮他去一块做。
而且它早期对于开发者来说是最好的一个标的嘛，大家都贡献代码，比如我刚才举例子来说，它可能支持了 20 种模型，呃，又支持了 10 种向量数据库，又支持了七八种工具。
其实你稍微把其中任何一个工具拿出来，你发现都很脆弱，仅仅就是能跑起来的程度。
所以它对于有句话叫什么 long time 开发者做大模型的新手村什么的，我觉得也差不多差不多，你要把入门的东西都在里面，你可以拿来用，但是你稍微想拿这个东西接着做下去，你想把你用 long 产品一周写完东西，第二周接着写，写到一个好的程度，你基本上就写完代码就得废了，或者是魔改。
所以他其实做得好地方就是他把一堆东西传到一起，然后他传得早，传得多。
对，而且他有很多定义的那些范式。
我们说练啊， agent， 这些抽象的概念，我跟你说代理，你可能 agent 你可能不太了解，当然有一个代码放在那里告诉你是这么写的，所以它是一个非常非常好的一个动态的教科书。
明白明白，他把很多概念和大家基础认知去拉齐。
对，你相当于是一个可以实践的，一边实践一边写的一个说明书一样的一个游乐场一样。
你其实我觉得这么定义它是准确的。
对，但他最近好像也发现自己有这些问题，然后他出了一个 long Smith 嘛，是吧？
对， long Smith 是一个什么东西？
呃， long Smith 其实是一个 long chain 的配套的。
不不，它是一个调试和跟踪的工具，在传统软件开发里面也会有，比如说你浏览器里面会提供一个控制台，统计你浏览一个网页，里面又加载了图片、音频、文字，分别用了多少时间，它一样的当 Smith， 就是你用了 long chat 的话， long chain 代码里面可以有一个 callback 的开关，把它打开，那你这个 long chat 代码在运行过程中的所有的信息被跟踪，然后呢，上传到 long Smith 上，你可以去做可视化的调试，它是一个开发辅助的一个工具，因为本来你就黑盒嘛，尤其是你用了链之后，你一个大模型的应用，调七八步，每一步输入是什么，输出是什么，他用这工具帮你统计出来。
对。
所以 long chain 跟 long space 和 Defi 的关系是有什么关系？
我觉得这个问题还挺难回答的。
首先 long chain 对于 Defi 也是一个基础设施，我们就把它当工具箱，就要用的用，不需要用就不用，后面可能完全不用。
long chain 不是一个完全产品化的一个产品， Defi 是一个完全产品化的 IMM 的一个应用技术栈，它是一个既可以在云服务用的，也可以在开源你拿回来自己部署的这么一个东西。
因为我们是一站式的解决方案，所以 long Smith 的那些调试的能力，包括我前面提到的这些 from 的 IDE 这些能力，可能都会在 Defi 里面会有配套的工具。
所以你可以理解为 Defi 一定是整体解决方案，即拆即用，可以满足百分之七八十的情景的 launchan， 可能会你得组上各种东西，然后放在一块才能去用。
就是 launch， 它是一堆积木。
对对对。
然后 define 呢，也用到了一些积木，对，然后未来呢，可能还会自己重新造，所以你把这些对对对对对。
我们现在有内部有个东西叫 define kernel， 就是我们其实也在在做 Defi 的过程中去想象一个更底层的一个库最好的形式是什么，未来可能这个东西做出来之后，我们可能会开源出来。
嗯，那那个东西就有点像 Defi 自己的 launch。
对对对。
是的，因为我们发现很多 long chain 的用户啊，我们也很了解 long chat 的用户，试图拿 long chat 做深度的应用时候，他们得把 long chain 丢掉，是我原来没有想到的，但是我最近和开发者接触，发现都是这样的，就是他做到了某个程度之后，郎蝉必须丢掉，因为已经帮他完成了新手座上路的过程。
之后你也知道你那堆积木里面你要用哪个，你就把这几个积木拿出来重新造，剩下的不要了。
基本都是中文的。
它就好像一个青铜键，然后它不断地是打磨，打磨到最后的发现怎么打磨还是青铜，就只能换成一个更高级材料的东西。
是是嗯，但 Defi 会不会遇到一类似的问题？
就我相信肯定有公司，比如它是一个 AI 的创业公司，它可能觉得自己技术很牛，那他不需要用到第三方一个很简便的工具，然后他就自己从零去去造个东西，他觉得是最好的。
会不会有这样的场景的问题？
我们的使命当然是帮助更多的开发者把大模型的应用落地，解锁这个模型的潜力。
但第一肯定不是所有的，第二呢，还是我前面说的那个问题，也许在 DEV 环节，你永远去自己写代码，不要用郎颤，甚至连 Python 都不要，你用 C++ 写好了是能达到最大的自由度的。
但是呢啊，你那些需要人反复去运营的这些工作，不是你的代码能解决的，这些基础设施是 define 能提供且非常好的。
我们现在其实也在做另外一件事，嗯，就 Defi 现在是一个整体的产品，我们会把几个非常好的零件，就大家觉得，比如说我们的数据集的能力，我们现在上的那种 agent 的这种治疗的能力非常好。
我们会把这些产品单独拆一个单体的产品出来，它可以配合 launch 或者你喜欢的其他东西一块用。
就你可以用我整体的方案，你也可以用我一个方向盘，轮胎，没有问题，这样的话就可以你用他自己的开发能力，再配合我们的一些又做得比较好的工具。
对。
我觉得你刚才那个解释也很好，就是他就是你如果为了追求更大的简便性，你一定就是放弃的一些自由度对吧，就就不可能是兼得的啊，兼得的话一定是用你自己用 29 个字母从头去写我。
我们既然做 Defi， 我们就知道一个事，就是我们又遇到的所有开发者可能在拿大模型做应用的前三个月，遇到问题几乎都是一模一样的。
这里会有一些细枝末节不一样，但几乎大体上模问题是一样的。
现在，比如说很多在做兼自有的问答的知识库的，他们遇到的问题几乎就会是同一类问题。
Email 怎么做，分段怎么做， TOKEN 怎么分配？
这问题是都是一模一样的，只是里面内容不一样。
然后接下来就是 agent， agent 就是说模型的驱动怎么做，模型的这个推理，模板怎么做，模型的工具调用，调用哪些工具，这些工具的这个限制的轮次和成本怎么控制。
嗯，它仍然是会是一模一样的问题。
嗯嗯，理解。
然后我们刚才讲的所有的那些问题，包括大模型的问题，你觉得未在未来多长的时间内会得到怎样的解决？
你有没有个大概的预期？
我比较乐观，我把 define 的开发者分为大体上两类啊。
第一类是这个比较务实型的开发者，他们评估过大模型的能能力，认为在现实的情况下，大模型应该可以做出什么样的事。
我认为这一类开发者务实型的开发者，他们现在遇到的种种困难或者什么什么问题，在未来一年内都能得到解决，无论是通过但模型层面解决，还是通过我们这种中间件工程方面解决，我觉得能解决。
第二类开发者是比较愿景型的，就是他们希望大模型一次可以替代一个团队啊，或者能能做很多这样的事情，就是什么想象中的大模型已经是一个非常强的一个东西，这种可能会比较难。
这种我觉得有可能三五年内其中一部分需求能够得到满足，但另外一部分需求可能会被一些厂商做成比较深的比较垂直的产品。
嗯嗯。
对。
我今天下午去跟那个妙丫的负责人嗯聊了一会，对，很多细节他是不能讲的，但我觉得他讲的有一个点也是我。
我最近跟人聊一个感想就是大模型的能力肯定是有限的，但是在有限的前提之下，其实最考验的就是产品的能力。
对，就你怎么样把这个需求定义得足够清楚。
对啊，如果你需求不清楚，其实你相当于说你要爬一座非常高的山，但你需求如果足够清楚，可能你就是要稍微让我进路，或者你可以开个隧道就可以过去了。
对妙压就很好啊，它就解决特定问题，限定的问题。
对你问题越限定，你想得越清楚，技术的解决的难度就越低。
其 prompt 也是这样的。
是是是，那你们现在实际看到的最典型的一些应用场景，我们给大家分享一下。
教育是最多的，比如说评估一个学生的水平，给他一些命题或者题目，这种是最多的。
给作文打分这个事是不是完全是 OK 的呀？
最近看到一些产品，你说打分这个事情太主观了，但是他告告诉你说哪里对哪里不对，这个事是很容易的。
对，就是比如说，尤其是对于相对第一年龄段的，不管是编程也好，写作文也好，去做改进是非常非常好。
是是对。
为为什么我提这个，我就觉得现在其实定量会遇到很多问题，就是他会遇到什么记忆问题啊，什么什么各种问题，但其实定性相对来讲对是 OK 的。
对啊，就是我觉得大家现在过多地去在意它定量的。
其实大模型给你的任何数字可能你都不要信，但它给你的方向很多时候都是好的。
对，所以我觉得大家可以多去从定性上去想些东西啊，就比如说判断某段话的情绪等等这种，这种东西应该是会更好用一点。
对。
教育行政市场行政是呃，行政就是我刚才给你举例的企业内各种内务的调度，市场营销，这其实是目前来说最成熟的，不管是写文案是图，商品图啊什么的，然后就是客服对吧？
替代一些这种简单的客服情景也非常非常好。
比如说现在已经能比较做到复杂，说用户买家进来去查你这个买家过去买过什么东西，订单是什么，他上来问一个问题，你大概就知道说 OK， 他可能要解决哪些问题，他今天来的这个情绪是一个愤怒的还是一个积极的？
那我应该给他退款还是不退款对吧？
这样的问题我觉得大模型已经解决很好了。
嗯，所以你们实际看到的，还是有很多比较乐观的例子是大家持续在运用，而且是很能很好地运用。
对。
比如说我们团队内部，我们不会说所有的团队成员你们都把这个工作交给 AI， 我们会把一部分的工作，比如说我们运营类的，这个增长的工作，可能有二三十项工种，呃，很多细活，我会圈一下，哪些可能现在在大模型的成熟度下就很适合做，那标出来，我们就试图拿 Defi 或者拿各种技术手段帮他去做这个自动化的改进，去替换人，这就没有问题。
你不要说我现在就要拿大模型去替换一个人啊，你要把一个人的所有的现在所有的这种工种啊，能力啊列出来，去看一下哪些大模型的程度已经到了可以去做，也许你在这里能发现一个非常好的市场机会，做一些全世界都能用的一些非常好的产品。
嗯嗯，理解。
我觉得我们前面所有的整体聊的有点像一个 AI101 的，就那感觉，现在实际上你在日常的操作当中，你在想的一些更深的问题，有没有什么事给大家分享，你能不能去抛两个问题出来，是让大家觉得连问题都听不懂那种震一震。
我们怎么说呢？
我现在脑子里最困惑的是一个简单但是难以回答的问题，就是基于现在大模型的能力，未来会诞生出最多的新的增量的应用，我们可以知道它 AI 原生应用到底是什么样的，比如说我们知道移动支付，在上一代互联网就激发了很多像凹凸啊这样的，万胜免也在这种产品出来，那么基于大模型可能会诞生什么样的一些应用是非常大增量的，这是我们最期待看到的机会。
嗯，我现在看到的答案可能是说每多种模型的能力揉到一块的，甚至再加上一些硬件的这样的产品，它是一个非常封闭很好的一个解决方案，就得融入到你身边的一些物件里去，对吧？
这个是一种我们能看到，因为我们并不相信说未来会有那么多 chat bot。
诶，对你这个点我本来想问你的，像我们第一期嘉宾，其实他提到一个点，他说他的 region 是未来每个人或者每个企业都有 bot， 对吧？
然后未来可能就比如几十亿的人口，可能会有上千亿个 bot。
我知道你怎么看这东西，因为现在实际上大家用题干做的东西本质上也是一种 bot， 对吧？
就是对话，你可以定义成一种 bot 嘛？
chat bot 是一种我们呃交付给用户和开发者，直观地显而易见的一种交付形式，因为这是大家现在最能理解的是 Defi 作为一个应用技术栈，其实可以完全不做这件事，我们现在做这件事也是为了跟用户拉近距离，不意味着说我们相信未来都是 Chat bot。
就是我们总体上看，可能说可能手上有个拆 GPT， 可能到今年 9 月 10 月 之后，你的手机，你的 Windows， 你的操作系统里面都会有一个啊，你的企业内部，你的公司里面可能有一个。
其实你一个人有 3 chat bot 你就够瘦了，就一个，你还得跟他磨一下性格什么的，3 个你就够瘦了，对，你不可能需要那么多 chat bot， 大前端，至少前端上不需要对。
因为你是觉得说像 open AI， 像微软，像苹果，可能就把这事做掉了。
OK， 今天入口对指的是入口对，今天好像才看到新闻说苹果在招人做端上的。
对对对，我我一定相信在操作系统级别会有这个 chat bot 的入口去解决调度和你看到的这种聊天体验的问题。
对。
我之前跟人聊个人助手这件事情，首先你知道有很多创业者这一波肯定是想做个人助手的。
对啊，我们大家就聊说第一步是 open AI 这种做怎么办，对吧？
然后是微信做怎么办， Google 这种操作系统做怎么办？
对，最后就是苹果自己从硬件端做怎么办？
从逻辑上来讲，几乎是必然的，每个人都要做的。
我们相信入口不会超过 3 个，嗯，肯定 3 个就够你受了。
但是入口它可以是一个接线员，它帮各种的 agent 接进去。
因为我们相信一件事，就是每一个大模型，它要做成一个完备的 agent， 其实它要组装很多东西进去，每一个 agent 就跟每一个人一样，有自己的能力栈，必然是有不同的能力在里面，它不可能用一个 AI 模型去替代所有人的能力，因为这里面有我的特点，有自有的知识或者一些东西。
那入口可以有一个，但是入口后面的这些 AI 的，就你说的 bot 吧，是可以有无数个的，只不过中间有一个接线的过程，转接的过程？
是啊，路由的过程。
对对对，你的这次路径就是比较符合大家在讲那种是大前端，可能前面就是一个 open AI， 还有一堆 plugins。
plugins 还不是这样，就是它现在是一个模型加 plugins， 它实现的还是一个意志，一个主体。
但实现我指的那种情况并不是，我指的是有很多 agent， 他们有自己的工具，工具之间的权重和组合关系他们都设计好了，未来有很多很多这种虚拟的，这种人的就是代理人。
类似于 API 的接口。
对对对，是整体的，是一个完备的有自己意志的整体的这样东西。
然后这样的东西呢，会被一个入口去全集成进来，去接入进来，它可能会像你现在微信的通讯录，或者说你微信上的一个律师或者什么，反正在你需要的时候找到那个正确的 agent 接进来，甚至说你搞三个 agent 中间去讨论同一个问题，大家吵一个架啊什么的，这个都没有问题。
嗯嗯嗯？
最近几个月其实跟大模型相关的新的热点呀，一些质变的东西，我觉得是明显来变少，你觉得未来还会有哪些方向是比较热的吗？
比如说就像是从口派的到 agent 的这种概念？
嗯，我们今天能不能创造一个概念？
嗯？
有没有什么你觉得是未来的发展方向？
我觉得光多模态的这个故事就已经够大了，现在你弹幕现在所有能力都是仅限于文字层面，他们对世界这种图形图像的理解还少。
但你想是想，在下一代的大模型，他们在训练的时候，如果能有人的五官的更多感知，比如说像我们这样聊天，有视觉、有听觉，甚至有触觉、温度，这样的信息结合文字，再去一块去做一次训练的话，他的那个能力会远远大于现在，因为他现在接受的信息毕竟是单一的。
嗯啊我所以我相信说多模态这个方面，一方面是本身多模态的训练，就是哪怕还是文本模型，基于这种各种的感官数据重新训练一次，模型的能力会有质的飞跃。
第二次是由于它有专门的信息，让它输出的内容也是多模态的，文字、图片对吧？
3D 的模型啊，声音等等，那他的这个舒适形式也丰富很多，他能真正地去做很多现在人类的知识工作者才能做的事。
我觉得有点像我们要请大模型看 3D、 4D 电影的感觉。
对，他现在还是看小说的阶段。
对，嗯，我们要对他好一点，争取早日起来看 4D 电影。
对，其实你会发现现在很多技术是有往一个方向走的趋势，比如说苹果新出的 vision Pro， 它那个本身就可以是一个训练数据的采集的那个东西。
跟 Rewind 结合起来其实是完美的。
对啊，你再看，比如说马斯克在搞一些脑机结合的东西啊，等这个传感器这些方面都已经对齐之后，那模型本身的能力就会超出我们现在想象很多。
你觉得还有什么是未来有可能会发生的？
或者在 Defi 的 vision 当中一些比较核心的点还有吗？
模型的小型化。
嗯，模型的这个移动化，小型化可能也是一个趋势，因为我前面跟你说的是模型现在参数量这么大，然后获得那么点智商，其实它还是冗余信息很多的嘛。
那么这个在算法面上和硬件层面去做了调优之后，这个模型未来是可以输入装到口袋里，这个我们也是相信的，又不需要去那么依赖去云云端。
对，至少是可以装在那个家里面，类似 Wifi 一样的那么一个东西对吧？
然后不需要到云端了啊，然后它整个的成本啊，速度效率什么都会变。
还有一件事就是我们 define 之前的一个原因，我们相信未来的所有的数据会向量化，就是你现在看到的所有的有知识产权的那些东西，电影啊，小说啊，这种书籍啊，所有东西，它现在是给人类阅读的嘛，嗯啊，这些的材料都应该被向量化一遍，以让 AI 可以去快速地加载这些数据，就像 u 盘一样插到一个 AI 上，比如说你现在 AI 问它一个今年的一个什么什么知识，你看我们现在要用很多手段把它嵌入进去，或者怎么着这份数据可以由这个原来的这种内容的出版商，或者直接提供的，我直接加载进去完了。
嗯啊，这个我相信是一个很大的市场，相信所有的东西在这个形态下都要重新出版一遍，就是以一种 am 能读的形式，而不是说现在像原来像对人出版的这种形式。
嗯，就还是请他看 4D 运营。
对对对对对对。
给他都准备好了，然后会给他对。
因为现在本身大模型有很多问题没解决，比如说你采集的数据的这个内容的来源啊，版权啊，这问题都没有解决，它其实也要一个合合规划的过程啊。
比如说我会跟别人举一个例子，现在这个非常混乱的时代， define 是一个开源项目，开源项目你知道是有许可证的，就是让你干什么，不让你干什么。
那么如果像接下来 GBT5， 他们的能力足够强，能加工很多代码，那我拿一个限制很严的开源项目给他读一遍，让他重写一遍，那不就是一个完全新的东西嘛，对吧？
就我自己抄了一遍书，那这个书还是不是我的啊？
就这样的问题，有很多这样版权的问题，都都需要解决。
嗯嗯，有。
有没有什么你现在最担心的问题而最焦虑的是什么事情？
我最焦虑的问题，其实我焦虑的是模型的发展速度没有我刚才说的那么乐观。
我其实也是主要焦虑这个问题，所以要给尤其是国内的这些大模型创始人打 call 是吧？
对，还是要加油。
大模型厂商很多最近也跟我聊了落地的问题，因为一个是 Defi 现在可以帮他们的一些用户做落地，一方面他们现在有一些模型厂商，他们已经卖出了一些蛮大的客户，客户的预期很高，嗯，即使呢，现在拿出世界上最好的模型的，那能力其实还没有办法去满足。
所以他们跟我一样，跟开发者一样，其实也助于在找情景或者各种各样的尝试。
对，他们的就像是技术材料提供商，对吧？
define 就像是一个装修队，就还是要有人把这些东西真的装好，变成一个商品房。
因为坦率讲，现在说今年国内大模型有一点计划经济的味道对吧？
它可能是这种需求端，可能是一股脑大家都去做。
唉，但这个就我唯一有可能觉得它应该被计划的，因为大部分这个事情确实很费成本。
当然没有集中的资源调度，可能做就就赶不上人家嘛。
对，所以这个事我反而觉得说你计划一下。
但你知道计划经济的带来的问题就是你需要拿着锤子找钉子，会有这么一个过程。
是是是，拿着锤子找钉子， Defi 是什么呢？
Defi 是锤子吗？
也不是，也不是，钉子也不是，锤子不是。
我们是介于锤子和钉子之间的东西。
对对对对对，你你是那个螺母？
对，现在是锤子们都在相互模仿去造锤子。
对啊， Defi 从第一天就是围绕钉子去做的东西啊，我们是基于一个开发者，甚至是小白的开发者反推如果要充分的利用大模型能力，应该做些什么而做，而诞生那个产品。
对，所以最后结果我想讲，这就是我最看好 Defi 的地方啊，未来上游一堆打模型，下游是一堆应用开发者，中间一定是需要一个东西来串起来的。
我们最宝贵的那个东西，不是我们现在这些影视人上面已经连接到的这种几千个开发者啊，中间可能有上百个跟我们关系特别好。
嗯，所有问题有需要落地什么，遇到什么样的基础难题，自己能受到的这个成本限制或者卖什么，他们会把这些信息毫无保留地告诉我们，他们甚至不一定会告诉模型厂商，那会告诉我们，那我们就知道说他在这个有限的命题作用下可以做出什么样东西，提发可以帮他什么。
对，我其实看了好几次你们的那个工号的文章，里面很多文章写的东西都非常的干货，而且他一看就是实打实的一线操作上遇到的各种问题跟解答对，所以我觉得大家有机会也可以去关注一下你。
但你光叫就是 Defi 的这个四个字母。
搜 dify 就能搜到对吧？
呃，也欢迎大家 GitHub 上搜一下，然后点一下 star 是吧，网站就是 Defi 点 AI， 其实现在已经可以用了。
对啊是是对。
最后还有什么想要跟大家讲或者分享的吗？
我们最近会和和很多的模型厂商合作，因为很多国产的模型或者说一些前轮单还没有用到过，我们会跟他们合作，会给开发者送出很多很多的额度。
这个听起来像是广告的有点对哈哈哈对，但确实事实上是这样啊。
对，这个就是 device， 对！
目前是目前是独家的。
对对对，可以送很大家很多 TOKEN， 挺好。
好，今天反正整体我觉得讲了 AI 相关的很多细节，我相信其实有很多人像我类似的，就是大家经常日常讲很多词，但其实对于这次背后到底实际的意义是什么，不一定有那么清楚，希望今天我们讲这些东西是也能给大家拉齐一些共识啊，拉齐一些基础的啊。
好，以上就是我们这一期的节目，然后感谢陆宇。
好的好的，谢谢大家好！
拜拜。
下面是画外音环节。
哈喽，大家好，我是两波客的制作人 Salia Defi 是渠道师特别喜欢的一个创业项目，也是他自己参与投资的一个项目，所以这期播客结尾我又拉他聊了聊他对陆宇老师对中间层，对大模型应用的一些判断和思考。
唉，我们前两期聊了很多人本身，然后这期我们就单纯在聊 AI， 在聊他做的事情，你能不能再展开讲讲你对陆维导师人本身的认识？
对，这期其实没有聊太多他个人相关的事情，也主要是因为我跟他还太熟了啊，然后陆宇是个很有意思的人，我们当时遇到他的时候呢，其实他大概我想是四五月的时候吧，就那个时候大家还都在看中间层到底有没有机会，大家都觉得说大模型会不会做啊，中国市场会不会跟海外不一样等等，但是陆宇跟我联系的时候，他们基本上已经把这一整套东西做出来了，所以说他其实是一个执行力非常强的团队。
然后呢，他也给我们授了他对海外市场的整体的研究，包括比如说郎晨啊什么等等一些其他的一些项目，他们已经把他们的一些代码看了好多遍。
嗯，我我觉得就是执行力很强，然后人也很聪明啊，但是对于市场非常的理解，因为他做中间层其实是需要他对于开发者和大模型都有很多理解的，所以也是为什么我去找他来做这一期，我觉得他现在肯定是国内最了解大模型和整个生态的人。
嗯，以及说他其实对这个方向有很多自己的想法，之前呢也做过很多 Devops 啊，国内的这些应用开发的工具等等相关的市场。
嗯，所以我觉得他其实特别适合做这件事情。
唉，你会格外喜欢什么样的创业者啊？
就和市场上其他人相比的话，有没有什么不同的偏好？
嗯，我们还真跟市场上大多准可能不太一样。
嗯，市场上有一派呢是喜欢很年轻的，就那种特别聪明，非常有潜力的，那我们其实这一种类型的项目接的并不多，现在市场更多的是需要经验，需要更多的有过组织花钱，知道这个事怎么落地，怎么从 0 到 1 的这些经验的人。
呃，这个是一方面。
另外在市场还有一批人是非常喜欢，特别背景善宁的高管，但我们也不是特别喜欢这种，因为我觉得这种其实他有可能已经不是那么 hands on， 落地的能力不一定很强。
我们认为一代人有一代人的机会，那上一代的这些成功创业者呢？
他已经在移动互联网里面，不管是赚到钱，还是卖国公司也好，就已经有过成功的经验了。
那这一波呢，我们更喜欢的是还是像之前提的那个所谓的 enter doc 的这个概念，就是他怎么样能够在这个市场里面有足够的冲劲，然后又足够的 hands on， 能自己做很多 dirty work， 又学习能力很强，所以我们其实比较喜欢这一类，就是有点像大厂的这种中间层，但是是大厂的核心力量。
嗯，噢，对。
再有一点就是执行能力，我们刚才也提到了，我觉得现在其实整个市场拼的也是执行能力。
就这个事情我们也聊了很多团队，他其实很纠结，就是一直在看，一直在思考，那可能几个月时间就过去了啊。
但像我刚才提的像陆宇他们的团队，可能在大家还在想的时候，他已经把事做出来了，而且他不是说盲目的埋头去做，是想得很清楚前提之下把这事已经做出来了。
这个也是我们非常喜欢 Defi 这个项目的核心原因之一，就当大家在差不多的起跑线上的时候，那你每一步都能比别人快一点，那最后就能积累很大的优势。
但执行力强的基础是什么呢？
就做得更快的本质还是说他想得比别人清楚。
讲得清楚，这是最重要的一点。
另外一点就是像我们刚才讲，他确实是做过类似的事情的，所以他知道这个事要落地，该怎么落，怎么样，很快地就能跑通从 0 到 1 的这么一个过程，而不会像其他团队一样，要重新再进来，再去踩坑，再去走弯路，再到他们现在这个阶段。
嗯。
所以在你看来，执行力强等于想的清楚加有经验。
嗯。
是明白。
所以你当时为什么自己也投了 d 发呀？
除了像刚提到的，创始人的方面，主要看上他哪几点？
呃。
我们在那个节点，其实在当大家都没有那么看好中间层的时候，我们就已经很看好。
我觉得核心原因呢，是因为大多数市场上的投资人是从大模型开始看起来的，所以大家都会觉得说，唉，我投的大模型，然后大模型能力很强，或者说大模型把后面的事情都会自己做。
那我们呢，其实是从应用层看起来的，就我们先去看那些做应用的人，然后也聊了很多的公司，然后发现大家其实花费大量的时间在做一些基础设施上的东西，就比如说可能有团队花几个月时间就是为了追求一个可控性，或追求一个这可落地性，那这里面就有大量的时间和工作其实是浪费掉的，或者说是重复的 dirty work， 那他就很需要一个人在中间去把这些事情做掉。
呃，这个是一个点。
另外一个点呢，就是我们还是认为未来大模型会是一个分散的市场，就至少相当长一段时间内，大家会选择各种各样的模型，或者甚至于说会自己基于开模型去做些相关的训练啊等等这样的事情。
所以如果我们认可说未来应用端会有海量的应用，大模型呢，又是一个分散的市场，那其实中间层就会是一个很好的一个入口，就反而中间层会把这两边集合起来，成为一个平台级的机会。
就像美国市场，其实很多人在看电脑数据库这个概念吧，但美国市场其实最近起来比较快的一个现代数据库叫 Chroma， 那它为什么能起来呢？
我们就回来去看，就是因为 long chain 它首选首推的是 Chroma 这一个相应数据库。
其实应用开发者他可能不会那么 care 到底我用谁，或者说他不会花那么多的时间去研究各个环节，那这里面他最能接触到的就是 LM、 OPS 这一层，那这一层就像迪派这样的公司，后面他推荐谁，他把谁整合进来，后面这些东西就能起来。
所以其实这个战略的定位我们觉得是非常重要，非常有前景的。
那你怎么看接下来中间层的创业和投资机会啊？
嗯，我们把中间层其实分成两类啊，一类其实是它更偏向于大模型层的，比如说现在很多做分类加速啊，做训练啊、推理啊相关的这些公司，另外一类呢，就像 Defi 这样比较接近于应用开发者的，我们觉得前一类会是比较困难的啊，就会遇到很多挑战，比如说这个东西它到底卖给谁，到底落的场景是怎么样的。
像很多应用的公司，它可能不太会自己去考虑说我要怎么去做大模型，然后如果他的客户面向的是大模型层的，那大模型的很多公司确实会把这些东西自己做掉。
就是如果他是核心的跟训练、推理啊等等相关的东西，我觉得他们行不太可能把这个东西放给别人来做。
所以我们觉得跟大模型越近，它的难度就越高，但跟应用开发者这边越近呢？
它也有个问题，就是会不会 ToC 的事情有很多人自己就做掉了？
比如说现在有很多做 bot 社区啊， bot 的应用开发啊，平台啊等等这样的东西，那它其实是比较偏向于 Toc 的一个事情，就是大家进来以后就可以使用它，或者说未来可能它是要讲说我要做一个 bot 平台啊等等这样的事情啊。
我们觉得两边其实你走得太近都会有问题，你跟大模型走太近，容易被大模型吃掉，或者说没有市场空间。
跟 c 端那边走太近呢，你又容易变成一个 Toc 的平台，那未来的竞争又很激烈。
然后很多做应用开发的事情呢，也会觉得说你是不是竞品，或者你会不会他们就把这件事情做掉了。
所以这里面是需要有一个团队，他非常有定力，非常有经验，就是把中间层做好。
那我觉得 Defi 就是这么一个团队，所以我们是比较看好在中间的这么一个机会的啊。
这个思考总比较有意思。
那如果再往上走，你对大模型怎么看啊？
有没有什么 on popular Penance？
其实我们在三四月的时候就一直在提，说大家高估大模型的能力，低估了落地的难度，这个就是我刚才讲的，我们看了很多应用得出的结论。
但目前越来越多的人其实是同意我们这个结论的啊。
我们仍然是觉得说未来大模型能力是有限的，然后呢，会是多模型共存的一个状态。
所以说我们会比较看好中间层的一些机会，我觉得这个是一个非共识，以及说我们会觉得说大家既乐观又悲观。
一开始的时候大家会很乐观，觉得大模型什么都能做，然后呢，现在渐渐的就会变得比较悲观，觉得说唉，大模型其实在能力上是有很多欠缺，很多局限的。
那我们始终是保持个中间态，我觉得大模型的就好像每个人发的那一手牌一样，就是你不太可能一上来给你发个同发顺啊，但他其实也不会差到说是一手非常烂的小牌。
嗯，那这里边就需要很多战略、策略层的东西，你怎么样去把自己的手牌打好啊，那比如说我是不是能够用大模型已有的能力去做这些东西出来？
我们还是看到一些公司，比如像妙鸭、慧读啊这样的公司，他基于已有的能力，能够去做更好的产品定位，然后能做出来一些跟之前不一样的产品，而且是大家能用易用的东西。
嗯，明白。
那除了你们之前说这种，不要试图用 AI 解决一个大问题，然后最好先找到一个小的精确的借口，问题越线里面容易出结果。
你觉得现在创业者普遍暴露出来的问题还有什么呀？
应用层的话。
呃，我觉得这个是核心的问题，就是作为一家应用的公司，现在有很多公司在讲自己怎么样去突破技术上的局限，或者说花的很多精力人力跟时间财力的成本在解决技术的问题上，我觉得这个不是应用层公司最好的选择，就做应用，最好的选择是怎么样利用已有的技术去更好的定义用户需求，去解决用户的问题，而不是说我现在找到的一个需求，但是我需要更好的技术来解决这件事情，那我就要先投入很多精力在技术上，我觉得这个不是一个特别好的路径。
嗯。
然后最后总结一下，你聊完整体感受怎么样？
呃，你看像三四月开始，我们其实讲很多所谓的 fine tuning 呀，所谓的这个什么 embedding 这样的事情，但至少从我个人的角度来讲，我其实也没有把这个事理得特别清楚，就到底在什么场景需要用什么场景需要用这个 prompt engineering， 或者到底这个背后意味着什么。
我觉得这一期的节目主要是把这些问题相对的理清楚了啊，告诉大家说这个背后的意义是什么，在什么场景应该用什么东西。
嗯，所以这件事我觉得是比较有价值的。
以及说呃，我们聊了很多跟大模型落地场景相关的东西，你看像 device 讲，他们现在平台上应该有 5 万多个实际的应用，就在大家都在质疑怀疑说到底哪些应用是好的，到底 AI 能不能落地的时候，他这边掌握了最一手的数据，所以他给我们分享的这些落地的场景和他看到的一些问题应该是最实际的，是最好的视角啊。
我觉得这些应该也能给大家一些参考。
对，我也觉得这是一期很完整的关于大模型落地的一站式讲解，就从开头的小麦科普，然后到商业应用，到最后的未来展望。
对这期可能不会有那么多的方法论啊什么这个相关的东西，但但我觉得这期其实对于实际在做这个领域的人或者关注这个领域的人来讲是价值很高的。
嗯嗯。
好呀，那我们这次就聊到这。
好嗯，拜拜拜拜。