机器学习中令人激动的趋势
Contents
从 jeff dean的演讲中记录的.
https://www.youtube.com/watch?v=oSCRZkSQ1CE
一些观察
- 机器学习让计算机不断打破我们对于计算机能做什么的期待
- 不断变大的计算、数据、模型规模带来了更好的结果
- 我们需要硬件执行的计算类型快速地改变了
计算机能做什么
- 图像分类
- 语音识别
- 翻译
- 图像识别和描述
反过来也行
- 从描述生成图像
- 语音合成
ImageNet 的图像分类准确度从2011年的50.9% 到2021年的90.88% 语音识别的错误率从13.25%下降到2.5%
趋势
大算力可以极大地改进模型,深度学习改变了我们设计计算机的方式: 针对机器学习优化的硬件越来越高效。
机器学习计算特征
- 不需要非常高的精度 –降低精度可以提高运算速度,但是不怎么影响效果
- 特异化的操作—主要是矩阵计算
语言模型的15年历史
2007年, 大规模的N-gram模型,用在翻译算法中。
2013年,词向量技术
2014年,Sequence to Sequence 翻译
2015年, 多回合的神经对话模型
2017年, Attention Is All You Need ,是对15年的工作的并行化优化迭代
2020年,Meena Transformer 架构的对话模型
2022 年,chatGPT
2023 年,Bard Gemini 多态模型
大模型的训练
- 基础架构 映射物理计算设备 资源的热加载和移除 数据自动路由 高度可扩展性
- 大规模训练 最小化失败的可能性 最快的恢复时间
- 训练数据 高质量的数据对于模型训练非常重要
怎么更好地问模型问题
让模型一步一步展示思考过程很有用,思维链模式
模型评估
评估模型的优势和弱势
学术考试和评估
趋势
- 在通用模型的基础上调优可以带来效果非常好的领域模型
- 生成模型可以生成高质量的图片、音乐、视频
- 机器学习给个人和社区都带来了更多好处
- 机器学习影响和加速了很多其他学科,工程的发展。 材料设计、药物设计、医学影相处理
- 更好地理解机器学习,更加深入&广泛
总结
AI 让计算机更好的理解,觉察和推理这个在他们周围的世界。
这是jeff dean对在校生做的一次演讲,从内容上来说较为宽泛和通俗易懂,可以看作是一个综述性的文章。里面提到的一些基础技术的发展流程,工程上大模型的训练基础设施和评估方式都是不错的了解。