几年前，斯坦福大学博士生AndrejKarpathy做了一件令AI社区非常敬佩的事情：在学校里创办了一门深度学习本科课程，并且将视频全部免费公开。作为深度学习的早期研究者和教育者之一，Karpathy赌对了方向。 文/杜晨 经过十多年的快速发展和技术创新，现在深度学习技术已经驱动着搜索、图像识别、社交网络、工业自动化、自动驾驶等诸多关键领域和产业。 由于研究成就突出，Karpathy自己也成为了应用AI技术发展的受益者，走出学术进入业界的第一份工作，就是特斯拉的特斯拉出任AI部门总监，领导 Autopilot以及整个特斯拉自动/辅助驾驶技术项目的研发，并带领公司深入到了机器人等更多前沿领域。 上个月，Karpathy宣布从特斯拉正式离职。 当人们还在关注他下一站要去哪，他却毫无意外地“重操旧业”，当起了“老师”。 /把“锤子”交到每个人的手上 / 就在上周，Karpathy重新启用了注册了多年但从没用过的 YouTube“小号”，发布了一条长达2个半小时的教学视频，题为《手把手带你入门神经网络和反向传播：构建micrograd”》。 他表示，关于反向传播（神经网络的基础算法之一）以及构建神经网络的工作，这条视频是目前为止门槛最低、最全面的讲解。他还宣称，只要观众对 Python有基础了解，并且还记得一点高中水平的微积分，就可以轻松入门： “如果看完还不了解反向传播和神经网络的核心，那我就直播吃鞋” 图片来源：AndrejKarpathy 通过这门课，Karpathy用基本的Python编程方法，以及他自己开发的Micrograd引擎，带着大家完成神经网络构建、编写损失函数、手动调优等基础操作，并且在过程中对反向传播等关键知识进行了系统的介绍。 至于授课风格，Karpathy也是非常理解当代年轻工程师在写代码时候的烦恼，贯彻了“talkischeap，showmethecode”的理念：整堂课的大部分时间基本就是在直播自己的屏幕画面，手把手教大家写代码…… 图片来源：AndrejKarpathy/YouTube Karpathy曾在多伦多大学、斯坦福大学就读，师从的GeoffHinton、李飞飞教授都是当今深度学习的领军人物。他也是OpenAI的创始成员之一，曾在早期的Google大脑、GoogleResearch、DeepMind等知名研究机构实习。 作为深度学习领域的知名学者和从业者，Karpathy出镜相当频繁，经常在 CVPR、NeurIPS 等知名学术会议的上发表论文和演讲，还曾作为英伟达Geforce技术大会主演讲嘉宾。 颇为搞笑的是，在2014年，他曾经以自己的“血肉之躯”，在ImageNet挑战赛上对一个卷积神经网络发起了挑战，并且获得了胜利，因此被学术界和行业里戏称为ImageNet的“人类基准”（thehumanbenchmarkofImageNet）。 图片来源：AndrejKarpathy 然而很多人对Karpathy印象最深，最感激他的，反而是他在博士就读期间做的一件大善事： 创办了CS231n，斯坦福第一门面向本科生的深度学习课程。 图片来源：AndrejKarpathy、斯坦福大学 CS231n以计算机视觉为主要方向，深入浅出探讨深度学习技术，创课第一年就有总计150名学生报名，到了2016年翻了一倍，次年又再翻了一倍。目前这门课已经成为了斯坦福校内所有院系里报名人数最多、最受欢迎的课程之一。课程的TA都有16人；和Karpathy一起创课的李飞飞，至今仍在担任主讲人。 更重要的是，从创课的第二年，Karpathy 就把CS231n的授课视频、讲义、作业、笔记等大量相关资源全部公开，放在互联网上。不止是报名的学生，就算没报名上的、其它院校的学生，乃至于世界上的任何人，只要有网络，就可以免费上课。 再往前推五年，随着Udacity、Coursera等公司的成立，“慕课”（MOOC）的理念早已广为人知。在这些知名公司的平台上，也有着不少计算机科学和机器学习方面的课程。 然而CS231n的横空问世，特别是它更加先进和实时的课程设计，以及没有任何商业味道的开放属性，使其成为了前沿深度学习技术向全社会普及的关键节点。 图片来源：AndrejKarpathy、斯坦福大学 关于为何要免费开放课程，Karpathy曾经表示，自己在当时非常强烈地感觉到深度学习将会成为具有巨大革命性意义的技术，有望在社会的各方各面得到广泛运用，就像一把好用的锤子。 但是在当年，很多人连锤子都“买不起”，更别提了解它的能力和掌握它的用法——是他决定站出来，做这个给大家免费发放锤子的人。 这门课最有意思的体验，在于它没有一个提前定好、绝不偏离的课程设置： “别的科目上课，讲的可能是19世纪的知识。在我们的课上，经常今天讲的论文是上周，甚至昨天刚刚发表的，”Karpathy说到，“我们讲的不是核物理，不是上太空，你只需要基本的微积分和代数知识，就可以听懂我们的课程，了解和掌握当下正在发生的新事物。每次的课程都在改变，感受非常不一样，但是大家都非常享受这样的体验。” 由于创课当时Karpathy还是一位博士生，当老师确实占用了他大量的时间和精力。每年教两次，每次四个月，一到上课的那段时间，他都不得不开动120%的精力，甚至博士学位的相关研究工作都不得不停摆。 “尽管如此，我还是觉得这门课是我读博期间的高光时刻。” AndrejKarpathy 图片来源本人 如果简单浏览一遍Karpathy的履历，一般人可能不会以为他是一个教学型的学者。但实际上他真的特别热衷于传道授业解惑，特别是给大家分享他本人的学习结果，和掌握技能的独特经验。 他曾经以博士生过来人的身份写过一些经验谈，发表在斯坦福官网以及个人播客上。比如对于本科生备战考试，他真诚告诫大家“熬夜不值”、“多找多换TA”、“备考初期自学，考前多交流”等。而对于纠结是否读博的学生，他专门写过一篇“博士生存指南”万字文，从前期准备、导师选择、研究课题、著述发表、学术演讲等诸多方面，分享了大量的指导思想和具体经验…… 图片来源：AndrejKarpathy 如果你以为他只讲深度学习，那就太小看人家了： 对于非本专业的内容，他也会用自己的业余时间，做长期、系统性的研究和测试，然后写成文章。比如他在GitHub账号上曾经写过一篇“生物黑客”的文章，分享了自己在体育锻炼、断食、血液检测、体能药物、睡眠研究等方面做过的测试经验。 少为人知的是，Karpathy还是一个专业的魔方老师…… 在解魔方这件事上他有一个alter ego，名叫 Badmephisto。他有一个专门讲授魔方知识的网站，做过一个教你如何解魔方的app（iPhone&Android），还在YouTube上传了大量教学视频，总共有900多万观看量…… 老哥可真是上课上瘾啊…… Karpathy在Google实习期间内部渠道搞到了一台GoogleGlass，录制了这段在自行车上解魔方的视频 动图来源：AndrejKarpathy /AI大佬都爱讲课 / 值得注意的是，不止Karpathy，深度学习/AI领域的大佬级别人物，都特别爱“讲课”。 这么说确实有点废话文学了……因为这些大佬当中，很多人本身就在知名院校有着常规或终身教职，一部分进入工业界的人士，之前也有很强学术和教学背景。但他们即使现在在工业界身居高位忙到不行，仍然对深度学习知识的传播和普及充满热情。 比如Karpathy在多伦多大学的老师GeoffHinton教授。他是反向传播等深度学习核心算法的发明人，深度学习领域的“三剑客”之一，图灵奖获得者。有这样一种对于他的评价：当其他人还在质疑机器/深度学习的时候，Hinton在多伦多一边默默地教书，一边持续着研究推进，终于以一己之力复活了机器学习研究和行业，堪称深度学习之父。 自从创立的DNNResearch公司于2013年被Google收购，Hinton在Google一直有职位，但实际上他的主要研究工作还是在多伦多大学的计算机科学系。虽然近年来他已经不怎么讲常规课程了，但他仍然会花很多时间和精力，指导学生研究和参与论文写作。并且，他也参与录制了一些深度学习神经网络方面的免费网课内容。 截图来源：Coursera “三剑客”的另外两位成员YoshuaBenjio和YannLeCun，也有各自的教职。 Bengio是蒙特利尔大学教授，也创办了Mila人工智能研究所并担任科学总监。他至今仍在学校和Mila研究所带领和指导着大量的研究生、博士生和博士后研究员。他经常参加各种外部机构的演讲和授课邀请，之后的视频也都会公开在网上。 LeCun在Meta担任副总裁兼首席AI科学家，还是纽约大学电气和计算机工程系教授。他曾经诚恳地表示过，自己可能没有办法及时查收和回复学校邮箱和电话留言。不过，至少去年他还在纽约大学的数据科学中心（NYU-CDS） 教深度学习的相关课程。另外因为疫情等原因，NYU-CDS 的所有由LeCun教授的深度学习课程，在2020年也都完全线上化并免费公开了： 视线转回国内，前几年离职回校教书的原腾讯AILab主任张潼，也是一个有趣的例子。他是机器学习领域知名的国际专家，曾经在美国大学拿到终身教职，在IBM研究院、雅虎研究院、百度IDL担任研究和管理方面的高级别职位，还是ICML、NIPS等一系列国际顶级学术会议的主席或领域主席。 然而可能是因为更享受教书和学术界的环境，张潼在2019年初离开了腾讯AILab，来到了港科大数学系和计算机科学工程系，直接就拿到了专为特别杰出且成就非凡的学者才设立的讲席教授（chairprofessor）资格。 当然他也没有完全离开业界，在港科大和创新工场之间牵线搭桥，帮助两家机构成立了联合实验室，专注于基础科研。现在的他，在港科大做研究、带学生，这一学期还教了COMP6211E和MATH6450J两个和机器学习优化相关的课程。 这些热爱传道授业解惑的顶尖学者让我们看到：即便在高度商业化的今天，一项技术、一种知识，仍然可以通过教育这种古典的形式，加上“免费网课”的创新手段，来完成更高效、更具公益性的普及。 这样的大佬们，请多来点，不要停。
