从机器学习到深度学习，从CNN到Transformer再到LLM

前记前段时间偶然看到一位同学发了一个朋友圈大意是TA作为经历了上一波2017年左右深度学习浪潮的“老登”现在又遇到了生成式人工智能潮起潮落坐看几度夕阳红。虽然我还没理解“老登”这个Token是啥意思也没好意思查下但是这位同学在校时代确实比较厉害我深感自愧不如。现在生成式人工智能的浪潮随时有可能把饭碗拍在沙滩上所以重拾下2017年开始接触到的深度学习看下这快10年间学术和技术的演进历史。20年面试MindRay时面试官问我如果给你一个输入图像再给你一个卷积网络你能算出网络第n层输出的图像大小吗作为一个0 论文在手的小登我说算不出来然后就…20年面试UnionImage时一个老登面试官出了一道图像题请写出将一个图像旋转theta度的代码我交了一张白卷。老登对我说我就不给你面试机会了不过你简历做的不错…言归正传下来梳理下AI的演进历史知道来龙去脉才知道以后要往哪里走。Machine Learning Deep Learning高中时代隐约记得学过一篇英文课文大意是一个老外雕刻家花了很大的心思雕刻了一个类似胜利女神像的雕塑结果雕刻完自己对自己的作品爱的深沉爱上了自己所雕刻的女神。一个伟大的哲学命题是我是谁我从哪里来我要到哪里去。人类具有无可比拟的智慧进化论呈现了人类从Monkey到人的过程Monkey没有思想人有思想知道自己是谁了。技术发展的演进历史和哲学命题类似人类的终极发展就是人造就出了AIArtifial Intelligence。AI的概念很广但是技术的起步并不是一步到位的AI的早期发展理论就是机器学习。机器学习简单说就是人帮机器提炼特征机器自己学规律代表算法有SVMSupport Vector Machine支持向量机等。2017年前后在机器学习理论基础上衍生出了基于卷积神经网络的深度学习。深度学习概括来说就是提供训练集通过卷积神经网络让机器自己提炼卷积特征学习规律。典型算法是各种CNN。这一阶段典型的应用就是基于CNN的图像识别。如果机器学习和深度学习是AI的范畴那CNN、Transformer和LLM就是深度学习的具体方法论。Convolutional Neural Network to Transformer to Large Language ModelCNN卷积神经网络距今发展已经快10年了下次再更新下复习情况主要是原理、关键代码实现。TransformerCNN之后2017年划时代的论文《Attention is all you need》提出了Transformer模型论文免费下载路径https://arxiv.org/abs/1706.03762。同步出的论文注释链接https://nlp.seas.harvard.edu/annotated-transformer/LLM先写到这里持续更新中。