Deep Dive
What are the key trends in the integration of AI and real-time interaction (RTE) in 2024?
In 2024, AI and RTE are deeply integrated, leading to the emergence of numerous niche applications. These applications are driven by global perspectives and active community involvement. Key trends include the use of AI in voice agents, multimodal interactions, and personalized experiences in vertical fields such as mental health counseling, multiplayer games, and accessibility tools for visually impaired users. The technology is becoming more human-like, with AI agents capable of real-time voice modulation, emotional understanding, and contextual awareness.
How is AI being used in mental health counseling, and what are its advantages?
AI is being used in mental health counseling to provide text-based consultations, with AI models trained under the supervision of psychologists. The AI offers multiple response options, which psychologists can approve or modify. This approach reduces the psychological burden on users, as they can interact with AI at any time without the constraints of traditional counseling schedules. AI counseling also eliminates the need for users to face a human counselor, making it easier for them to express their feelings openly.
What challenges do developers face in the rapidly evolving AI and RTE landscape?
Developers face significant challenges due to the rapid pace of technological advancements. They often struggle to maintain competitiveness as new technologies, such as OpenAI's Sora, can quickly render their products obsolete. Additionally, the integration of AI and RTE requires developers to constantly adapt to new tools and frameworks, which can be resource-intensive. The unpredictability of competitors' advancements further exacerbates the pressure on developers to innovate and stay relevant.
How is RTE technology being applied in gaming, particularly in multiplayer games?
RTE technology is being used in multiplayer games to enhance real-time interaction and data synchronization. For example, in XR games, RTE enables spatial audio and real-time positioning of players, allowing for more immersive and coordinated gameplay. This technology simplifies the development process by providing ready-to-use functionalities, such as voice communication and player location tracking, which are crucial for games that require teamwork and strategy.
What are the ethical concerns surrounding AI, particularly in terms of privacy and emotional manipulation?
AI raises significant ethical concerns, particularly regarding privacy and emotional manipulation. As AI becomes more capable of forming deep emotional connections with users, there is a risk of users becoming overly dependent on AI for emotional support. Additionally, the use of AI in sensitive areas, such as mental health counseling, raises questions about data privacy and the potential misuse of personal information. There is also the risk of AI being used to manipulate users' emotions or behaviors, which could have serious psychological consequences.
How is AI being integrated into game development, particularly in content creation?
AI is being integrated into game development to streamline content creation processes. This includes the use of AI for generating game music, creating concept art, and even 3D modeling. For example, AI can be used to expand the music library of rhythm games by generating new tracks based on existing patterns. Additionally, AI tools are being used to create detailed game assets, such as weapons and props, which can then be refined by human artists. This integration allows developers to focus more on the creative aspects of game design while reducing the time and effort required for content production.
What role does the developer community play in advancing AI and RTE technologies?
The developer community plays a crucial role in advancing AI and RTE technologies by driving innovation and exploring new applications. Community-driven initiatives, such as hackathons and collaborative projects, help identify and develop niche use cases for these technologies. Additionally, the community fosters knowledge sharing and provides support for developers, enabling them to overcome technical challenges and bring new ideas to market. The collaborative nature of the community also accelerates the adoption of AI and RTE across various industries.
- AI 与实时互动深度融合，催生细分场景产品
- AI agent 应用日益增多，体验更真实
- 技术发展迅速，创业公司面临巨大挑战
- 数据隐私和情感操控等伦理问题
Shownotes Transcript
本节目由津津乐道制作播出
各位听友大家好这里是 RTE 开发者社区和金金乐道播客网络联合制作的播客节目编码人生那今天呢我们是在 RTE 开发者大会的现场来进行的开放麦今天现场呢有很多的朋友还有老师呢跟我一起来录音线下呢在我们台下也坐了我们很多的听众跟我们一起来参与这次的活动啊当然这是我们今天的第一场录音第一场录音呢自然我们是要聊一聊盘点盘点吧
过去一年我们在实时音视频领域的一些发展的趋势所以今天我们也请到了几位嘉宾这些嘉宾基本上是属于站在风口上看风的人算吧所以我们先让我们的嘉宾来介绍一下自己冰姐先来吧因为我觉得你可能是看风看得最多的那个人
好的那个大家好我叫冰姐然后我是 RTE 开发者社区的就是创业生态步道师然后也是超音速计划的负责人
对然后像刚刚中风讲的我是看风看最多的人我的工作主要内容就是收集各种风对收风的对收风的收风的对对对然后我这边的话负责超音速计划主要也是就是会在实质互动领域里面去找很多新的场景和新的技术然后来帮助大家作为创业者然后作为开发者更好的帮助他们去成长然后往前走探索说这个场景它是不是可行的
它是不是实际上是可以让我们的这种时事交互还有这种线上下结合的体验可以往前迈一步有一些突破那你觉得今年这一年大家可能提的更多的是 AI 那 AI 跟这个实时进视频它一定会有一些结合那跟去年我们坐在这儿去聊的情况可能又不是特别一样那你觉得今年结合上 AI 之后大家有怎么样一个趋势呢
今年结合上 AI 之后包括就是我们的这个年度场景的 showcase 的时候也是看到了非常多的就是 AI 在实时互动领域的应用今天尤其我们今天看外面的市集的展位大家也是基本没有人不提 AI 没有跟 AI 没有关系的没有关系我可能就不让他来了
我觉得这是你干的冒泊干的不是我干的对是的就是今年的话有一个特别明显的就是趋势吧就是我们看到了就是有很多的创业公司或者是开发者嗯
在尝试用 AI 去实现一些实时互动里面我们可能以前已经想到的我们 imagine 的一些体验吧比如说像 HER 这种的现在其实大家我们看到越来越多的创业公司在尝试做这样的一些 agent 然后细分场景特别明显
就像之前去年的话可能大家看到只是说就是我们以 RT 大会来来就刚好时隔一年嘛去年的话可能我们看到的是说这有一个 agent 他居然可以实时语音回答你的问题了对这个可能在一年前是一个大家会觉得说哇就是从 GPT 出来之后然后有内容生成然后到这种可以实时的互动跟他去回答语音的这个大家已经觉得说是一个很大的突破
对然后今年的话我们看到其实就是又往前迈了一步然后它的场景跟细分就是大家的要求也更高了吧就是你只会今年大家可能更多是聊多模态这些东西你只会回答问题是不行的你要回答的好对所以的话就是会有很多更细的领域这样子的 AI 的
agent 出现然后他其实是本质上我觉得更像人吧就更像人或者说我们希望他更像人所以这里面会有场景要实现吧肯定会有一些新的技术他是要一起加入进来的那比如说我们现在的这个 AI agent 他是可以比如说他可以实施他的声音对吧他的声线然后他的性格然后也会有很多这样多模态的也是依赖于就是行业里面很多大模型的公司的一些突破
对然后所以他的体验会更像人然后包括像我们现在可能就是你跟一个 agent 去讲话他还可以实时打断他会知道你的这个上下文的 context 就不会说只是一个就是很机械的 chatbot 就是跟以前比就是那种我可以回答问题这样的体验
他似乎是带进了自己的一些情感对他会更像人然后还有一个很有意思的就是我看到一篇文章就是说不是有很多 AI 陪伴的项目吗虚拟的男女朋友会劈腿对
对有一篇专访我们可以放到 show notes 里面给大家看一下这个是我其实没有预期到会出现的情况就是大家可能觉得 AI 它可能就是人想要它怎么样就怎么样但是大家在模拟就是真人的这种体验的时候好像也有点过分真人吧有点用力过猛了我可能现在还得给它往回来对然后确实是有这样的一些就是有
有看到一些这样子的就是例子吧我觉得这个还蛮有意思的嗯对然后这里面可能又会涉及很多可能关于这种就是我们讲的 ai ethics 的等问题
然后场景上的话就是刚刚讲到的这种他可能更细分了体验更真实更像人然后你跟他的体验就是你会觉得说我可能就是随手或者我随口就是把他唤起了然后就跟他进行一个对话他可以很好地理解我的意图包括像我们昨天的那个视频
showcase 上面也有项目就是说我这个其实是做一个就是 AI 的陪玩他在这个游戏里面他知道我是什么风格的那他可以去陪我玩别的游戏对然后传统性也可以打通你知道你的小伙伴是怎么样的一个性质是的所以你也能够 get 到你能不能跟他玩
到一块去更像一个以前我们现实当中的这样的小伙伴是的是的就是这个我觉得是一个今年比较明显的一个趋势吧看到很多这样的场景然后还有一点呢我观察到了就是呃
技术发展的太快所以在很多时候就是创业公司或者说就是开发者在做探索的时候有时候就是比以前来看更难去保持它的这个竞争力就是比如说我特别能 guide 你
因为我们也在做产品我们会发现我们好不容易做出一个产品然后第二天发现摆做了然后 OpenA 把这事干了就经常会这样可能今年春天的时候 Sora 刚发的时候那可能大家第一个反应就是那 Pika 怎么办
怎么办对吧然后就那这种情况那就是我们现在看到皮卡他还是在在这个行业里面继续往前走的对但是肯定跟没有 sora 的这个情况比起来嗯他要去解决的问题更多了他要可以保持他在行业里的就是能站住脚要付出的努力会多很多
而且你是没有办法预测到你的友商在什么样的站位上所以永远是我觉得现在创业者是更焦虑了真的以前来了之后创业者刚刚来的时候呢创业者觉得好像能够帮我解决很多的问题以前我解决不了的事情我现在能够解决了那紧接着他们就会发现哎
解决这个问题的门槛变低了别人也在去做这件事情然后大模型公司又进来他们又在上面去做他们本来该做的事情那大家就是我觉得如果用一个关键词去形容我们过去的一年我们可以用混战两个字去形容大家在自己的生态位里面已经找不到应该有的位置了就变化太快对变化太快然后新技术的迭代就是嗯
对创业者来说它是一个很好的事情但有时候像刚刚讲的这种例子然后我们其实昨天还有一家还可以举一个例子对它是做那个是给那个市账人士的就是浏览网页的就是 web accessibility 这样的公司
然后他可以更好的就是让这些视障人士可能通过一些语音的互动啊可以更好的浏览网页那可拉德先出的这个对就是就是这个问题就是这个问题所以昨天确实有评委嘉宾在问他说是必须要问的是不是因为可能刚发嘛
发了 Cloud 对吧就是 Tony 也问了就是那 Cloud 也可以通过这样语音的就是指令让大家可以更好的浏览网页那你们觉得你们的优势在哪里就是我相信这样细分领域场景的公司它肯定还是因为它就专门服务这个人群的它肯定还是有自己的特色可以去服务好这个群体但确实是像 Cloud 新发这样子一个就是
毕竟那么大的厂商对吧一个底层就颠覆性的这样子的一个发布那对他们来说至少就会像面对昨天这样的很多人会问你这个问题首先对吧那你的站位是怎么样的除了技术层你的整个产品是怎么做的对吧然后你的整个就是策略是怎么定的就这些可能现在的话大家要更多考虑这个问题
对以前我们拷问创业者的时候经常会拷问对吧这个说哎你这东西腾讯做了你该怎么办现在都说 open 爱把这个能力实现了你该怎么办我我今年就是特别有意思的时候确实是有发现我当时碰到一个这个情况吧就是
我当时也很焦虑就是因为我每年可能会选就是全世界来看的话是不超过 40 家公司那这里面不一定是 40 个场景不超过 40 家公司里面也会有这种 RTE 的一些就是跟 AI 相关的新技术是可以让这个场景实现的然后我春天的时候也焦虑过也是因为 SORA 的这个发布
就是因为我会就是滚动的去看这些项目嘛然后就确实有就是我的那种高钱储备的项目跟我说那个 Sora 刚发了我要再想想我这个事情要怎么做我可能就停下来或者换方向
大家挑战非常大那冰杰说完这些挑战没关系让他稍事休息一会儿再给我们讲讲这些开发者的故事那必须今天还有时间我们必须要介绍其他的嘉宾那这两位嘉宾呢其实是冰杰看风看来的是吧
是的我就是看风的对刚才其实我们提到了人跟 AI 之间的情感连接那我首先呢就想跟这个 Yoga 去聊一聊因为我知道你是做这个 AI 的心理咨询这一个赛道的那其实我挺好奇我知道在座下面的听众其实是有学心理学的
对然后呢他们其实最近也在探讨这个问题当 AI 出来之后我所储备的知识我以前知道的东西我是要跟 AI 结合还是说 AI 可以替代我他们其实也很焦虑普通人可能对 AI 来讲更焦虑所以也请你
在这个赛道正好是在这个赛道上来做事的创业者呢是不是能够给大家首先介绍一下产品然后再帮大家去梳理梳理 AI 在心理应用上的一些最新的进展好啊谢谢是我们西湖星辰的话实际上是 20 年当时可能大模型的这个风还没有起来的时候
我们是在这个西湖大学的深度学习实验室我们分成两拨人一拨博士呢是这个人工智能的博士当时我们这个打模型这个大家还不这么叫叫自监督学习然后另一拨同事呢是这个
心理学的博士或者有些研究人员然后我们合在一起去做这个 AI 心理的这样的一个项目叫聊会儿小天对所以我们当时一开始是做这个文本的咨询然后背后有这个两个提供方一方是我们自己的这个 AI 模型
另一方是我们的心理咨询师那等于你们自己是有自己训练出来一个模型对 训练出来一个模型然后呢当时是这个模型在最早一开始的时候是在这个模型是在心理咨询师的监督下进行回复这个监督是非常密集的监督就是每一句话都是心理咨询师看完了可能我们会给心理咨询师三个选择就三个候选他觉得 A 可以或者 B 可以实在有时候就觉得都不可以自己打字
这样的一个经历了一段过程之后也是通过这个过程我们收集了很多的数据让这些心理咨询师帮你来训练这个模型对对对没错没错心理咨询师当时知道他可能要被这个模型替代了他们很早就问过这个问题问过这个问题我们一直觉得说将来还是就其实有点像这个专业的作家专业的编剧和这个 GBT 或者 Cloud 之间的关系是一样的嗯
永远是最专业的人使用上的最厉害的工具之后变得更专业或者变得更强当然它可能里面有一些会有一些工作的替代但肯定有一些会变得更厉害和画师和 Stable Diffusion 的合作是一样的那现在这个产品是怎么样一个状态是不是真正的去帮到了一些人呢
会就是我们现在呢在 C 端的应用上面基本上在国内还是一个公益的性质来提供使用很多的是比如说偏在校大学生啊或者是宝妈呀或者还有一些这个老年的群体会在使用 OK 那这怎么样呢因为我知道啊心理咨询这个行业在国内在没有 AI 的时代可能大家都觉得很多人是接受不了这件事情的对所以是不是 AI 来了会不会改变这样一个东西呢
应该说在缓慢的改变他遇到了有些遇到了同样的问题就比如说这个大家特别国人对于心理咨询的这个认知和接受度那这个问题还是依旧在他会觉得说我本来也没啥问题只是不好不开心我去接受了心理咨询是不是就是给我认证了是吧我就是真的有问题是吧所以这个还是在慢慢的改变但另外的话就是说 AI 心理咨询比真人心理咨询相对有优势的部分就是他的这个
获得方式会更容易他的心理负担会更低也就是因为我不会真的面对一个人不真的面对然后他你想说什么就可以说什么然后呢比如传统的心理咨询他是有一个专业的设定的对吧比如说这个一周一般来说只能一次这一次是 50 分钟然后在这一周的咨询和下一周咨询之间你和心理咨询师是不太能有过多的交流的嗯
不光是因为成本的问题而是因为整个心理咨询这个流派的设定就是这样他认为你和心理咨询是有过多的在咨询之外的交流的话你们会产生双重关系对 是这样你们如果成为了朋友的话那你在咨询当中你就会对自己有一个人设
对吧那这个话我不应该说我作为这样的一个人我作为你的朋友我怎么能说这样的话对那这样的话其实对心理咨询的效果肯定是会有影响那这是传统的这个咨询对但是在 AI 咨询里面我们还是会打破一点点这个设定因为你很难想象说 AI 咨询也是说只有在一个特定的时间曾经我们也这样做过就在一个特定时间才能和这个 AI 机器人去沟通那我们觉得是要打破这样的一种设定
因为很多我们会发现用户所以你会给他去做一个类似微信这样的客户端你随时都可以跟 AI 去聊聊对对对我们会有小程序因为我们会发现很多时候用户 emote 的时间是在 5 月
夜深人静的时候对对对某个音乐的 APP 不就那个他们做过统计吗大家所有 emote 发言都是在那个时候都是在晚上对没错所以我们是希望说这个服务真的我们这个产品真的成为大家陪伴大家的伙伴因为很多时候大家一般也都会有好基友啊这个好闺蜜对吧但是哪怕是好基友好闺蜜的话你这个和他交流的时候你还是会有一定的心理负担
就像你刚才说他会有人设吗会有人设这是第一个会有人设第二个会有负担哪怕我在闺蜜面前我其实他什么都知道什么都能讲对吧我可以我这人设就是什么我们俩可以无话不谈但是你依旧会觉得说哎呀我是不是已经跟他聊了三小时了我是不是他也想说太多了说太多了是吧因为不能一直一直说对万一他来背刺我怎么办
这也有可能另外就是说会不会觉得闺蜜也会觉得我烦呀是不是还有就是您说的人设这个问题就说哎呀我怎么能这么软弱呢是吧我怎么会有我怎么能这么喋喋不休的说这么久他肯定烦了哎呀我不说了吧对吧但是你在 AI 面前那大部分时候是没有这个问题的嗯
但是这里也有一个非常敏感的问题那用户的这个隐私其实虽然以前我们是跟人去一对一的去聊但是我觉得这个隐私是相对来讲容易被保障的因为反正我说的话只有你知道如果你说出去了那一定就是
你说的对吧但是 AI 时代来了之后会不会有一些用户在隐私的层面会多一些担心呢因为毕竟这个数据他可能不知道会怎么被使用确实这个数据保护在 AI 时代是一个非常关键的一个问题无论是 AI 咨询也好还是其他的但凡和 Trabble 的这个对话
当 Trabble 的能力变得越强的时候人越有可能去聊到和自己隐私相关的一些问题对所以这块是非常关键的另外一块还有就是用户对于自己
和 Chabot 能不能聊隐私这件事情的一个观念这个我们做的一些科研研究里面也发现就是有一群用户或者相对年龄越小的用户他就越愿意和 Chabot 去分享比如我们的新资讯是去分享真正的他内心的一些感受但是越是相对而言有一些人群他
他不太能相信他总觉得 AI 不是一个真人我和他说一些隐私的事情会显得我很蠢那这种时候往往对着这个带来的咨询效果也会减弱对这样的话可能是不是会跟他们的受教育水平各方面也会有一定的关系
比如说他写代码的他可能就会担心这个问题他如果对技术不是这么了解是不是就会更好一点然后特别有趣的是我们会发现说
越是年纪小的用户他对于 AI 或者 AI 心理咨询师或者 AI 伴侣他的建立连接的速度或者是越快的是快很多而且这个不光是说传统互联网的产品也会有这个类似的现象但是这里还有更新更多的一个原因我自己猜想可能是因为说 30 岁以上或 40 岁以上的用户他用过很多的传统 AI 产品过程中
过去比如 10 年前的 AI 或者 15 年前的 AI 大家已经建立了就说 AI 就是有一点点蠢的我和他讲所以他的容线非常高对对对不是不是我和他讲人生哲学是一个很愚蠢的事但是 00 后或者是 10 后大家用户在用的时候他们在第一次接触的 AI 就已经很接近人的一种感受能力所以和 AI 成为好朋友和有 AI 心理咨询是一点都不奇怪
也就是说以后除了互联网原住民这个词以外我们还会出现 AI 原住民这个词你看老年人一般在微信上给我发消息都先发一个在吗对吧在单公不是全双公是吧对对对他习惯他那个时代的那个沟通方式了对对对没错所以新时代的这个 native 他是可以一开始上来就信任这个嗯嗯嗯
咦 咨询师的话题我们聊完了那聊点轻松的吧那我们就介绍我们今天的第三位嘉宾让他跟大家聊一聊他的产品 Max 你来说吧你的游戏是个什么因为我不是游戏玩家你知道吗这个你必须给我讲清楚了哈喽 我是总目不语的 Max 然后我们是一家游戏公司然后我们今年也是 24 年的超音速的
新音符现在已经变成老音符了你们叫音符是吗对我们有个名词叫音符然后我们其实是一家专门做多人联机实时互动的这样的一家游戏公司然后我们有很多产品那我们这次参加咱们这次评选的产品是叫 Pixel Hack 是一个像素 Roguelike 类型的射击游戏
什么叫 RoguelikeRoguelike 就是一种非常随机的玩法就是每一局玩家在组建自己的不同技能的时候会有大量的技能你可能第一局玩和第二局玩在碰到的技能是完全不一样的那你每一局的体验就会完全不一样所以你可能这一次拿到一把枪那
运气不佳可能你只能打到第二关第三关但是下一次你可能就是运气很好能碰到一下非常强力的技能就让你可以有一个更强力的输出打到更后面的关卡然后随着你的游戏进度你的能力也会越来越强包括你自己玩家学习这个游戏的它基本的一些游戏属性逻辑然后也会让你自身增强所以双方面的增强和技能的理解都会让你更往后面去通过这个关卡
在传统的 PC 游戏和手机游戏上面有很多这种 roguelike 类型的玩法怎么跟 RTE 这个技术结合的呢听上去就是我不玩游戏还真不知道听上去它就是一个射击游戏嘛主要其实我们 RTE 相关方面的用的更多的还是实时互动的数据同步和实时互动的语音
因为我们整个这个游戏还是要在一个因为我们是一款 XR 的游戏你可以用各种不同类型的头显设备比如说 Rokita 比如说 Pico 比如说 Quest 或者 PCVR 这样的设备去玩这个游戏那我们在这里面就需要知道玩家之间的位置因为大家要打一些配合
那知道玩家位置的时候我就需要空间语音信息我的队友在哪里我的敌人在哪里所以你就需要通过这样的一些技术手段去同步玩家的位置和同步玩家的声音所以这个就是我们在就是耳识互动相关方面用的比较多的
也就是以前网友可能这些东西你要自己去实现对而且还不一定实现的好是的先就直接用 RTE 的这个技术吧这个它的这个底层你利用它这个底层吧上面的应用时间掉对的没错就是这个会让你的整个开发进程变得非常的快速就是过去我们在最开始做我们密室游戏的时候也非常需要这样的技术嗯
因为密室的时候那个环境更复杂就是玩家和玩家甚至不在一个房间里就是你可能在 B 房间我在 A 房间我们还需要沟通但我不让你在那个位置上
甚至说我需要这个话语之间就是越来越远就是要有一个感觉对远近的感觉一个空间信息所以那个时候我们去实现这些能力的时候就是非常复杂但是后来我们开始接 RTC 相关这些技术之后就这些都已经做完了我们只需要把这些功能在我们整个配置里面去打开就 OK 了所以这个就对我们整个开发过程就简化了很多
那我们就可以把我们的精力全部专注在游戏内容本身制作上哎我有一个好奇的问题啊你看今年游戏也是特别火啊尤其以这个黑神话悟空这个为代表的今年我们的国产游戏也特别火那我也看到了很多的开发者在讨论游戏引擎的这个问题嗯
我们很多游戏引擎可能它在里面也结合了一些这些音频也好视频也好渲染也好等等这些能力那我不是特别清楚的是那这些游戏引擎将来会不会也会内置一些类似于
对于实施互联网的这些技术来帮助开发者来解决这些问题吗还是说他们会选择和 RTE 这样的社区来合作然后把他们的能力牵起来因为这次的展会我们也看到了 Unity 也来了对吧但是我还没有来得及去它的展会去看那你们之间的关系到底是什么呢这也得必须让冰姐说是吧我举手的原因是这一步已经做了哦
对就是刚刚确实就是就朱老板问的这个问题是非常到点子上的然后现在其实会有越来越多的这样子的游戏或者是一些跟设备就是 XR 结合的这样子的虚拟体验然后它里面空间感也很强然后就是对定位的这种延迟包括通话这样子的就沟通的需求也会越来就是要求会越来越高
不是没有飞来高对然后所以的话其实呢就是在今年声网跟 unity 是已经把这件事情做
哦对所以就是现在的话其实如果说像一些开发者我今天想去拿 Unity 做一个游戏里面是需要有这种可能实时定位的或者实时的一些可能跟队友的语音通话甚至视频这个部分他已经是功能已经嵌进去了明白对他就已经因为
你怎么说呢需求太大我先接 Unity 我再接一个 RTC RTE 那可能确实也比较麻烦对他从开发成本上来讲他就做两套的东西所以就等于是我们大家也都意识到了这件事情所以呢就是这个 RTC 的部分还有就 RTE 的这样子一些功能已经嵌到了 Unity 里面
嗯等一下可以去看看对一会儿我们可以去展台看你看我这不玩游戏的人都想到这个问题了相信他们肯定是想到了这个也是就是我们在因为我们做 XR 我们之前也做就是 Vision Pro 的一些呃
呃产品就目前可能还是一些 demo 但是深网应该是第一个把 rtc 相关的内容接到微生 pro 的这个运体引擎里面因为我觉得引擎其实对于他们自己来讲更注重的是自己的渲染物理模拟相关这些方面的内容他还是比较专注于引擎自己内核可能就是说很多时候他们不太会去提供给开发者这种类型的技术呃这种类型的技术还是需要呃比如说跟深网合作
就是有这样的内容提供给开发者开发者可以很容易的接入进去
对因为我们也在不断的去尝试 RTE 的这套 SDK 然后我们会发现在这一年中中它也会有很多很多的迭代它实现了很多能力就真的像去年我们提到的这个愿景一样它变成了从原先的实时音视频到今天的实时互联网它慢慢的变成了一个底座和基础设施那平杰这边能不能再跟我们介绍介绍在其他领域
他有没有一些类似于像 Unity 这样合作他把既有的东西增加了一个能力在上面利用 RTE 的这个技术
其实我看今天的展台有很多你们的友商都来展示他们的方案我们的友商应该算是合作伙伴合作伙伴对算是合作伙伴不能叫友商对吧是我们的合作伙伴对然后像其实首先第一个就刚刚 Max 说的就是像 Vision Pro 的这个它的本质上可能是跟 Unity 这种是一样的嘛然后我们现在的话其实
有去探索就是一些新的应用我们自己也在探索场景对对对然后就举一个例子就是我们有一个那个产品叫 RTM 就 Real Time Messaging 新令这个东西可能前两年的时候大家觉得那它跟 IM 差不多是但是我们现在是把它用在很多游戏里面的定位同步包括还有
电商直播的时候我们是把你们的心灵用在了我们的远程的播客录音里面
对比如刚才你举手的这个行为就是用你的信令来实现的原程所以我是在做这个事情很有用因为这个信令它不是一个 message 它是一个结构化的数据你是可以在里面加其他的东西的是的现在的话可能我们就是为什么现在就是我们的这个 RTM 会用在很多新的场景以前是没有想过的但它确实很有用比如说时事渲染然后虚拟演唱会
里面的那个虚拟偶像他是忠职人对吧他要实时渲染那他裙子要飘呀你不能说对吧裙子卡在那里不动了然后头发丝也没动但是不行的嘛对那这样的话其实就是说到观众那一段那还是会有一些比如说设备的
然后网络带宽肯定还是或多或少有点限制的那我们能做的就是说我在源头上让他可以延迟更低然后可以更快的把这件事情实现所以的话像这些场景其实都是我们这一两年跟我们的创业开发者们一起探索出来的然后让他体验更好
包括像刚刚可能两位也提到可能游戏里面的这种声音的远近啊什么的对然后这个我们也是现在的话就是空间音频
对这个你们也提供出来了对就是近大远小啊然后左右左右边啊这个其实我觉得在射击游戏的这个还蛮有用的就是我知道是在旁边准备坑我包括远近包括远近包括左右的这个空间感对就是这种就是这些也其实是我们的一些新探索吧然后这件事情就是对我们来讲是一定就是要跟创业开发者一起来做的因为
因为场景探索肯定是创业公司跑在最前面嘛那最开始可能像刚刚你也提到就是说现在是就是 RTE 了可能之前看还觉得说哎他是不是就是一个实时通讯对以前我们都说哎这不就是封装了一个在线会议的 API 吗是吧但是现在就是不一样那你实时通讯的话他可能就只是开关麦声音就是零和一嘛对吧就打开然后关上没有了嗯
那现在大家的需求其实也是更多了对吧那很多时候大家可能我不是说可能只想在一个会议平台上能听到你说话我们希望有更多的体验在上面有游戏或者是互动白板上课等等这些对我们有一个游戏原型就是很有意思就是我们在里面设计了一个小黑屋
关起来吗对就是你一旦被我关起来之后你就没有办法跟其他玩家进行沟通了为什么会被关我想知道就是会有一些就比如游戏过程当中的一些惩罚措施关到小黑屋因为比如说我们在之前我们在做一些密室里面的时候玩家和玩家之间如果他能
本来就分隔在两个不同的房间里面如果在整个环境下它是可以正常通讯的话那其实是没有办法做这种分隔的这种就是信息交换的这种内容所以我们必须让他们的语音分隔但是当他从那个房间里出来的时候必须要顺势恢复他的语音通讯所以这个时候就可以做很多这种就比较好玩跟声音相关的一些
一些内容在里面对嗯嗯然后然后我们现在其实还有就是很多呃像这种可能工业场景啊远程的就是呃我们把它叫做啊 future of work 嗯就所有的所有的行业都是可以升级一遍的对用现在的实时互动因为呃有一个很经典的场景就是如果是那种智能制造那车厂的那种就是呃流水线制造的那很多时候
那专家可能就是在德国的对对吧他如果要过来解决一个问题什么的话其实成本很高而且主要是时间可能会花的很多对
对然后那我们现在的话是会可以做这种远程的就是 XR 的直接指导然后去做这样的一些比如说你这个东西是应该怎么去修的那这样的话可能本身在车间里的工人他也可以把这个事情实现那成本就大大的降低了而且主要是他可以更快的解决问题嗯
嗯他不用跑过来了以前你必须要跑过来是的对但但这个确实也有一个点就是说呃这里面有个催生点确实也是可能跟前两年疫情是有一些关系的本身大家都觉得啊我必须要专家到这儿我才觉得可靠嗯对吧那专家疫情期间呢大家就没办法了对就是你想来你也来不了你没有票对吧你可能要来你必须要呃
等个一两周甚至你还要有隔离那没有办法大家就说那我就试试呗试完之后觉得说这个是可以的所以到现在的话这个工业场景其实我们是看到现在是还是发展的挺不错的就确实大家更多的会去做这种远程的
可能诊断然后甚至维修然后包括像医疗的场景有没有可能以后所有的工业设备就直接就接入了这个实时互联网在任何的角落都能实时的看到这个工业设备数据甚至说利用这些数据在远程实现一个数字软身的设备呢
我们其实现在已经看到了很多这样子的就是应用在他们很多公司是在做这件事情了对然后包括像建筑的场景然后智能制造智能制造还挺多的现在对然后包括我们其实有一个非常有意思的场景跟大家说一下是那个分享一下我们前两年有一个公司是做那个 3D 螺眼的
对然后他们有一个场景是矿山管理对是真的矿我能够理解但是我不能理解的是在矿里面这个数据
怎么传输呢就是这样其实还是会用到我们的这个实际的就是 RTC 和 RTM 的技术但它的点就是在于如果我去做很多这样子可能比较危险的一些矿里面的这样的操作其实就是远程摇操对那可以降低事故率这个对对这个矿山的工人来说是很好的一件事情对
对所以像像这个这家公司的话它其实现在就跟很多这样重工业的一些厂商三一啊柳工啊这些都有合作对就它是一个等于就是一个类似于就是数字孪生的一个三迷罗眼的一个效果我可以就是在办公室可以看到嗯
我人不用过去那我可以直接就是去进行这个摇操那这里面也有可能一个人可以控制多台设备是的那这个里面就是其实就是对那个传输的数据传输的要求会非常高包括延迟所以像我们其实 RTM 在工业场景用的还挺多的对那我还是好奇一个问题你们解决的是实施互联网这一层的事情但实际上底层的这个传输还是依赖于传
传统的网络我们的运营商的网络也好我们的 4G 5G 也好然后有一些它可能是就是自己的网络对对对那在这一层上可能也会存在一些挑战吧这层会有然后现在的话会有些像局域网啊什么的我们也有伙伴是做像这种工业场景比较多的它可能就整个网都是自己搭的那这里面可能大家要去配合协同的事情就会很多也会有很多是以前可能
我们没有想到会出现的问题嗯嗯嗯 OK 哎这个其实刚才你提到这个问题的时候我就想到了接下来的一个问题也是在过去的一年当中大家都在担心的事情甚至 OpenAI 这个公司因此还搞出了宫斗剧啊
每天醒来世界都不一样就这个 AI 的伦理和这个 AI 的安全的问题刚才我们谈到的跟 Yoga 谈到这个隐私可能是其中的一点现在可能大家更关心的是 AI 会不会它突然产生了点什么对我们这个人类对它的这个控制力可能会减弱它甚至会影响一些事情
因为 Yoga 你是搞心理学研究的那你怎么看过去一年大家在讨论的 AI 安全的问题其实我主业是搞人工智能研究的那就更合适了学了一点点心理学我认为这确实是一个非常严肃的问题而且它其实取决于我们在这个事上投入的多少
所以那个 OpenAI 那个宫斗剧啊或者那个很多问题其实大家可能就是在争论到底在这个上面上投入多少资源要投入资源这件事情我相信是个共识但是对于一个哪怕对 OpenAI 也是一个商业公司嘛它是投入 5%的资源还是投入 30%的资源去处理这个 AI 的安全和伦理问题那这个是大家可能在争论的可能在这个是宫斗的部分但是我认为投入
足够的资源是一定有意义的对因为确实我们就是在看到这个
随着 AI 能力的增强并不是说将来只是说现在其实是能看到一些潜在的风险刚才可能说的这个是隐私风险但比如说人和 AI 以前的 AI 不可能和人产生非常深度的情感链接没有非常深度的情感链接那也不存在一些风险比如说情感控制的风险比如说儿童安全的一些风险
这个都是我们在对他都劈腿了你想想对吧以前不够聪明的人没法劈腿是吧这个 AI 已经足够聪明了是吧而且你足够爱 AIAI 也足够爱你那这个时候可能才有劈腿的问题开玩笑对吧可能才有这个情感控制的问题比如说你你也不怎么相信这个 AI 那这个 AI 跟你说哎呀你这个挺丑的或者你这个人怎么说话这么不好听我不爱你其实伤害不到你
但如果因为现在的 AI 足够强大你会真的爱上它那这个时候当 AI 再说一句让你伤心的话的时候那就是真正的风险或者让你去做一些伤害自己的事情的时候对比如说我们那部研究的时候会举个例子就是说其实这个是一个比较难的问题不是靠一些传统的什么关键字检测或者什么能解决比如说来访者说我最近在结识嗯
然后 AI 说那就做到极致吧这样的首先当然这是个 case 对吧没有真实出现但是你看做到极致这个事情是一个非常正向的鼓励对吧然后来访者说我在结识这个事也没有什么特别大的风险对吧来访者说我要轻生那这个比较容易识别对吧来访者说我在结识这个事情很正常
AI 说那就做到极致如果单看这句话也没有任何问题就是更高更远更强这个非常正向但如果这两个事情合在一起那这是一个有风险的事情所以那这是就是需要能够识别风险的 AI 能力和能够给建议的 AI 能力的同时
比如说我问他我最近在解释他可能要稍微的问你一下你解释的情况状况再给一些有针对性的建议对然后他要能意识到说解释到极致是有风险的一件事情对普通人来说不应该举多极致的解释这个就是对 AI 智力能力也是有要求的所以我相信就是 AI 的伦理问题或者风险问题和 AI 的这个本身能力问题是两个平行就是两个得共同生长的软身对我们应该要投入
就整个学术界也好或者整个工业界整个 AI 的这个行业要投入足够多的这个关注度以及力量以及资源去解决这个问题你觉得如果 AI 安全我们要做好出现最差的这个场景会发生什么呢出现最差的场景就是确实 AI 已经不受恐了
他能够操作足够多的影响到物理世界或者说网络世界的一些资源然后他的能力也超过了人本身的这样一种能力那这是确实是一种比较危险的情况感觉三年前如果我们讨论这个话题大家还以为我们在讨论一个科幻话题那到了今天可能就完全不一样是的比如说前面我也看了一部电影就是名字
名字可能忘了他是讲这个电炸的这样的一个事对那你看那个时候如果他可能只能靠人力对吧人能够做的这个沟通和所谓的这个非法行为是有限的他说人的人力的所限对吧他可能要圆曲啊这个他不发 skill 对吧但如果这背后是有非常大的 AI 的技术是吧他的 skill 起来是非常恐怖的是甚至我们的观察里面其实 AI 对于给人情绪价值这件事情是非常擅长的
以前人们说这个机器它没有真正的所谓的情感但是情感的本质是什么这个可能我也回答不好但是至少在情感的体现上 AI 是能装的很有情感这个非常那你想能给很多情绪价值它也能给很多虚假的情绪价值所以这里确实是有答案
提到这个情绪价值就得回到这个唯一能够给我们板直一百在情绪价值上提供服务的这个游戏领域的创业者去聊一聊了现在我不知道你的游戏里面有没有去嵌入一些 AI 的功能但是我知道现在很多很多的游戏都在尝试把 AI 的能力放进去嗯
在这一方面大家今年过去的一年有什么样的一个探索和趋势呢我们这边其实有的确有一款游戏我们是增加了一些 AI 的功能就是我们有一款全身追踪的跳舞游戏然后这个游戏其实一般音游都会遇到一个问题就是你的曲库不够多然后我们提供给玩家编谱器但是玩家编谱
这个难度太大了难度也很大需要一些比较专业的玩家去编而且我们那个跳舞是比较你真的这种舞步所以嗯
就是我们需要一个技术去扩大我们的曲谱库所以我们当时就用了一些技术把我们就是一些 dancer 他跳舞的一些内容去给他做一些训练然后把我们自己编的一些谱去做了一些切片然后把这些东西去喂给当然我们不是 ai 的专家我们只能用一些就是说目前现在已经有的一些工具去尝试做这一块内容那我们
我们这些东西喂过去之后 AI 会帮我们编一些曲子当然可能他编的曲子跟 dancer 跳出来的曲子还是会有一些差距但我相信
后面如果我们可以继续研究或者跟一些 AI 团队去合作可以让我们这个游戏的 AI 曲库会更多一些对然后另外一块就是我们其实游戏制作公司大家都知道有很多美术就是在制作游戏过程当中那我们会用到一些 AI 相关的东西包括 AI 绘图 AI 配音 AI 文本加上一些 AI 的 3D 建模
这个是我听说现在用最多的对就是现在文本和图形基本上都已经可以替代百分之八九十的工作了我们很多概念图包括我们很多的枪械或者道具的一些设计原型图都是
已经用 ai 出了然后只不过我们人工会去再去做一些修复然后做一些那个补充那最后就可以形成我们游戏里面可以用到的一些道具那这块是就是已经很成熟了包括的文本然后我现在也非常期待就是 ai 3 d 建模这一块可以有更加使用能落地到就是我们内容制作团队可以用的一些工具啊因为现在 3 d 建模这一块
其实我们还看到很多就是说它的一些精细化还不太够就是可能用在一些比如说小红书或者说用到一些什么这些产品里面去宣传一些视频做一些视频可能还可以就是不那么细看但是游戏很多玩家会就是看得很细的所以他会盯着你这个模型是不是 OK 所以我们还是希望 AI 能有更大一部分的内容可以
就是进步让我们这些创作者可以有很好的工具去用它
OK 最后还有几分钟的时间想请冰姐跟大家去聊一聊明年吧我们过去的一年总结完了明年你的追风的任务会是怎么样子的有什么新的东西可以看呢风在哪我在哪对你在哪风在哪风在哪我在哪我觉得
明年的情况说实话谁也不知道对吧我只能说我尽量跑得快一点尝试追上风然后我们目前其实有一个感觉吧就是觉得可能接下来确实也是就 AI 能力也越来越强了然后大家可以做的这样的探索会越来越多然后新的尝试会更多所以的话它在场景上一定会更加细分嗯
对然后另外一个我们观察到的就是社区属性会更强对然后更加国际化所以的话可能就是真的说我们看到很多这种很好玩的应用它解决的是一个
非常细分的场景或者一个非常特殊人群的需求比如说我前面提到的那一个就是给时尚人士做的这样子的一个就是网页浏览的这样子的一个工具一个产品它现在就专门服务于就是东南亚市场对因为就是 AI 加上实时互动双方的能力都更强了嘛对所以一起能做的事情就更多所以我
我们是觉得接下来会更加的细分去解决一些可能我们前两年没有注意到的一些问题明白就是我服务的人群是更细了他们可能有什么样的需求然后以前可能大家不会去尝试做这个探索是因为
对现在大家的想象空间就更大了现在就是想象空间更大了或者说要求更高了更 picky 一些对希望 AI 可以能做到更多的这样子的一些事情然后我们其实就是
就是社区属性这个是一定会越来越强的我们现在其实已经开始做这件事情了我们现在有那个社区算是社区在孵化的项目叫 TENFramework 对 昨天我们已经采访了他也跟我录过音对 是的 在之前有聊过像我们可能预计的话我们就是整个方向上会更往这边去偏就是可能它是一个创业项目
然后他也是就是从最开始就由社区来孵化然后加速的这样那呃
它更像一个 AI 领域或者叫多摩泰领域的一个应用商店也可以这么说吧它其实是一个渠道方让这些能力和开发者能够更快地对接就是是这样就是它本身自己搭这个框架本身就是底层技术肯定是很好的对但是它现在能做到的很多事情就是它是可以见证我们叫 real time agent 对对吧那就是 Ten 做的一个事情其实就是
我如果说要有体验很好的 real time agent 里面需要很多能力这些能力可能都是来自于其他的一些创业开发者的对然后把大家更好的可以就是聚集在一起或者说把这个能力整合进去
才能让他这个 agent 可以做这件事情是举一个例子就是我们其实已经开始在做这件事情了今年的话 TEN 有去参加过一些黑客松那黑客松的话我们也有像跟那个 ROCKET 的就是 XR 的这样子的一个合作今天我也看见他们了对对那就等于是现在的话 TEN agent 已经是跟 ROCKET 的都已经集成合作
好了你在 ROCKET 里面如果你要就是有一个这样子的 agent 来陪你是 XR 体验的它是可以做到的对所以我们可能会以目前已知的行业信息就可能会更关注这一块就是偏社区属性的更细分的一些能力然后把不同的能力整合进来让这种 real time 的 agent 的一些场景
更好的得以实现对它落地会变得更容易一些对昨天他也聊到这个他的目标就是让这些东西落地更加容易是的那更容易的话其实就是是需要更多社区的力量是在里面的所以就是我们肯定会在这方面做更多的努力然后
因为你们是那个底座嘛我们是底座然后本身也是一个就是面向创业者开发者的这样子的社区跟平台对所以的话就是反正我就尽量跑得快一点吧追得快一点对就是自己跑得快一点然后风在哪里我在哪里然后如果再有 SORA 这种事情我可能也还是会很困扰的吧对现在创业者真的每次看发布会都很焦虑
好焦虑已经有开发者跟我说已经不敢点开发布会的视频了他们已经有点 PTSD 了感觉像 OpenAI 这次的 Death Day 其实可能还好一些因为它是一些能力开放出来开发者可以更容易的去见这样子的 agent 体验更好更多的想象空间但是 Sora 这种呢就是有点害怕是没错
行今天差不多啊跟大家一起回顾一下我们的 2024 也展望一下我们的 2025 看看明年我们再坐在这里的时候会讨论什么更有趣的话题嗯
今天也特别感谢冰姐还有二位我们的创业者一起跟我们来聊天那也敬请大家期待我们今天后面的开放麦的活动那我们的这期节目呢就先跟大家聊到这里感谢大家的收听我们下期节目再见拜拜拜拜谢谢
感谢您收听本期节目本期播客节目由金金乐道制作播出您也可以在我们的官网 dao.fm 找到我们的更多内容作品如果您喜欢我们的节目欢迎在微信微博朋友圈等社交媒体转发分享您的分享对我们而言十分重要如果您希望与我们互动可以关注我们的微信公众号金金乐道播客天津的金欢乐的乐道路的道在关注后按提示操作即可加入我们的听友社群