Contents

机器学习中令人激动的趋势

从 jeff dean的演讲中记录的.

https://www.youtube.com/watch?v=oSCRZkSQ1CE


一些观察

  • 机器学习让计算机不断打破我们对于计算机能做什么的期待
  • 不断变大的计算、数据、模型规模带来了更好的结果
  • 我们需要硬件执行的计算类型快速地改变了

计算机能做什么

  • 图像分类
  • 语音识别
  • 翻译
  • 图像识别和描述

反过来也行

  • 从描述生成图像
  • 语音合成

ImageNet 的图像分类准确度从2011年的50.9% 到2021年的90.88% 语音识别的错误率从13.25%下降到2.5%

趋势

大算力可以极大地改进模型,深度学习改变了我们设计计算机的方式: 针对机器学习优化的硬件越来越高效。

机器学习计算特征

  • 不需要非常高的精度 –降低精度可以提高运算速度,但是不怎么影响效果
  • 特异化的操作—主要是矩阵计算

语言模型的15年历史

2007年, 大规模的N-gram模型,用在翻译算法中。

2013年,词向量技术

2014年,Sequence to Sequence 翻译

2015年, 多回合的神经对话模型

2017年, Attention Is All You Need ,是对15年的工作的并行化优化迭代

2020年,Meena Transformer 架构的对话模型

2022 年,chatGPT

2023 年,Bard Gemini 多态模型

大模型的训练

  • 基础架构 映射物理计算设备 资源的热加载和移除 数据自动路由 高度可扩展性
  • 大规模训练 最小化失败的可能性 最快的恢复时间
  • 训练数据 高质量的数据对于模型训练非常重要

怎么更好地问模型问题

让模型一步一步展示思考过程很有用,思维链模式

模型评估

评估模型的优势和弱势

学术考试和评估

趋势

  • 在通用模型的基础上调优可以带来效果非常好的领域模型
  • 生成模型可以生成高质量的图片、音乐、视频
  • 机器学习给个人和社区都带来了更多好处
  • 机器学习影响和加速了很多其他学科,工程的发展。 材料设计、药物设计、医学影相处理
  • 更好地理解机器学习,更加深入&广泛

总结

AI 让计算机更好的理解,觉察和推理这个在他们周围的世界。


这是jeff dean对在校生做的一次演讲,从内容上来说较为宽泛和通俗易懂,可以看作是一个综述性的文章。里面提到的一些基础技术的发展流程,工程上大模型的训练基础设施和评估方式都是不错的了解。