0.【方法论】如何阅读论文
约 1505 字大约 5 分钟...
0.【方法论】如何阅读论文
1 【吴恩达】读论文的方法
吴恩达cs230课程中的一节,视频链接:link
1.1 收集论文
- 编制论文清单(arxiv,github,blog)
- 快速浏览,从清单中进行挑选
- 决定你要关注哪些论文
5-20篇论文:对某一领域有基本的了解,可以应用一些算法
50-100篇论文:对某一领域有了很好的了解
1.2 多遍读论文
- 标题+摘要+图表
- 引言+结论+图表+略读剩余内容
- 通读整篇论文但跳过详细的数学公式和相关工作
- 精读整篇论文但跳过没有意义的部分
1.3 读完后测试自己或与其他人讨论这些问题
- 作者试图实现什么?
- 核心要点是什么?
- 我能从中使用什么?
- 有没有其他想要关注的参考文献?
1.4 去哪里跟随ML新前沿
- Twitter(Kian, Andrew NG)
- ML Subreddit
- NIPS/ICML/ICLR
- Friends
- Arxiv Sanity
1.5 如何深入理解数学部分
- 自己在白纸上从头开始推导一遍
1.6 如何深度理解算法(代码)部分
- 从开源仓库(github)下载并跑通
- 学习开源代码,自己重新从头实现一遍
1.7 长期持续学习的建议
- 稳步持续地阅读,而不是短期突击,例如每周稳定阅读2~3篇文献
2 【吴恩达】职业生涯规划的建议
2.1 找工作(面试官)看重什么
- 必备技能:面试题和代码能力
- 面试题例子:梯度下降/批梯度下降/随机梯度下降是什么?平均批大小太大或太小会发生什么?
- 有意义的工作(证明你有应用能力)
- 持续学习的能力
- 知识的广度和深度
- 广度:对一个领域有横向的了解,例如AI的众多分支ML,DL,PGM,NLP,CV
- 深度:对某一子方向进行了深入的工作,例如项目经历,科研经历,实习经历,参与建设开源代码
2.2 在校时的失败模式
- 一直上课是不好的:通过上课(课程作业,论文)掌握某一领域的基础知识和基础技能后,更深入、更有针对性地参与1~2个感兴趣的项目
- 一进来就在参与某一领域很深入也是不好的:还没有学到很多关于编程的知识或机器学习并立即进入研究项目,这对学生来说并不有效,甚至更糟
- 有很大的广度,做了很多个小项目也是不好的:有10个项目但没有1~2个真正重要的项目,面试官对数量不感兴趣
- 在周末卷是没有用的,关键是做好每周的规划:关键是每周都能抽出时间持续地执行自己的学习计划(阅读论文或者贡献开源或参加一些课程),这样才能有稳定、持续的进步,例如每周阅读2~3篇论文,一年就至少有了100篇论文的积累,而不是光想着花周末的时间去卷 👍👍👍
2.3 如何选择好的工作
- 选择一个有很棒的人和项目的团队:因为我们都会深深受身边人的影响,他们能教你多少,他们的努力程度,他们的眼界格局、人脉资源等都会深刻地影响我们未来的发展
- 选择一个好的小团队,特别是好的leader,而不是公司的品牌:工作时接触最多的是团队中的10~30个人,特别是直接带你的leader,这才是选职位时应该着重关注的,而不是公司品牌大小,大公司内部方差极大,所以宁愿去小公司的精英团队,也不要去大公司的垃圾团队 👍👍👍
- 如果在找工作时公司方拒绝告诉你做什么项目,leader是谁,那就该好好掂量掂量这份工作的含金量了
- 注意公司的轮换制度:千万要小心进入公司后等公司分配的工作,最好事先就确定好团队,如果公司提前保证了将来会让你轮换到你心仪的团队,那还是可以接受的
- 多学习,多做重要的工作!!!
2.4 【学生提问】什么是有意义的工作
- 大公司的AI偏同质化,都在卷最赚钱的几个赛道,例如人脸识别,语音识别,搜广推等等
- 但其实AI可以和许多传统行业相结合,改造传统行业
- 挖掘冷门的新赛道也是一件激动人心,具有挑战性的事情,也许会从中发现更好的机会
3 【李沐】如何读论文
视频连接:link
3.1 论文结构
- titile
- abstract
- introduction
- method
- experiments
- conclusion
3.2 三步法读文献
- 第一遍:标题、摘要、结论,看看是否和自己研究的相关。看完之后可以看看方法和实验部分重要的图和表。这样可以花费十几分钟时间了解到论文是否适合你的研究方向。
- 第二遍:确定论文值得读之后,忽略部分细节,快速的把整个论文过一遍,需要了解重要的图和表,看懂文章针对的问题、解决方法、效果怎么样,知道每一个部分在干什么,圈出相关文献。觉得文章有看不懂的地方,可以读相关的引用文献。
- 第三遍:最详细的一遍,知道每一段和每一句干什么,脑补过程、换位思考、进行延伸