Home
cover of episode #02 对话刘杰|大模型也需要适者生存

#02 对话刘杰|大模型也需要适者生存

2023/8/13
logo of podcast 科技慢半拍

科技慢半拍

Frequently requested episodes will be transcribed first

Chapters

Shownotes Transcript

【嘉宾】

刘杰,南开大学人工智能学院教授,研究领域包括机器学习与数据挖掘方面的基础研究,以及面向自然语言处理、网络挖掘、视频图像理解等方面。

【节目介绍】

本节目对话了南开大学的刘杰教授,从他个人的学术经历,谈到当今学生对于人工智能专业的选择问题。帮助听友分析和甄别大模型的各种类型,他也分享了对这项技术发展的体会和感想,以及对领域大模型和开源大模型的看法,也谈及了大模型未来的发展方向。

【时间线】

00:55 嘉宾介绍

07:37 大学中的人工智能学科和毕业生的选择

16:33 从自然语言处理到大语言模型技术的演进思考

27:17 当前国内大模型的发展形态

35:20 关于大模型的测评和选择

43:53 领域模型与通用大模型的协同作战

51:50 关于开源与闭源大模型的纷争

54:26 等待杀手级的应用场景,是否会再次走入AI低谷?

1:00:36 对话总结

【名词解释】

支持向量机(Support Vector Machine, SVM),是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized linear classifier),其决策边界是对学习样本求解的最大边距超平面(maximum-margin hyperplane)。

BERT,全称为Bidirectional Encoder Representation from Transformers,是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练,而是采用新的masked language model(MLM),以致能生成深度的双向语言表征。BERT论文发表时提及在11个NLP(Natural Language Processing,自然语言处理)任务中获得了新的state-of-the-art的结果。

C-EVAL,中文大语言模型评估基准,评测基准由上海交通大学、清华大学以及爱丁堡大学联合创建,是面向中文语言模型的综合考试评测集。

专家混合模型(Mixture-of-Experts layer,MoE),这种模型可以被认为是具有不同的子模型(或专家),每个子模型专门用于不同的输入。

【片头和片尾音乐】

对屿 - 阁楼演奏班)

梦在黎明破晓时 - 盘尼西林)

【感谢】

特别感谢[AIGC开放社区]和[AI重塑世界]的大力支持,请听友及时订阅微信公众号,查看本播客的文字版内容。