Py学习  »  机器学习算法

计算机博士刚刚进组,导师说“深度学习研究 5、6 年了,出不了成果了”。我该怎么办?

FightingCV • 1 年前 • 166 次点击  

关注“FightingCV”公众号

回复“AI”即可获得超100G人工智能的教程

点击进入→ FightingCV交流群

好好学习天天向上回答:

从技术的发展来看,那是不可能的。

从研一到现在整整6年一直从事深度学习,毕业设计就是用深度学习做的一些应用,记得3年前毕业前双选会找工作,一个老板亲自来招聘会招人,然后面试了我,我表示要找个深度学习的工作,他就一个劲地说深度学习已经进入寒冬了,这里不行,那里不行。我一听好像也有道理,尴尬得不知道该说什么,因为当时19年网上很多博客文章在讲AI发展到瓶颈了,只是堆堆层数,改改模型,参数量大,又极占用内存,根本无法在现实场景落地,AI已经没什么大变化,需要一场大革新,似乎深度学习真的发展不下去了。

想不到3年过去了,科研界的变化简直是用沧海桑田形容,就连工业界的应用也遍地开花,公司找工厂客户拉项目挖掘商机PPT不吹一波自己用了什么AI算法都不好意思吹。自己也因为工作太久完全跟不上了,因为各种算法每年层出不穷。记得当年在学校那个年代,早两届的师兄还是靠caffe水论文,到我这一届靠tensorflow出论文,自从毕业后,pytorch开始走进巅峰,之前辛辛苦苦写的tensorflow代码一夜之间全部作废。早两届的师兄当年日日夜夜搞实验冒出一堆白头发写论文的画面如今历历在目,但当年那些发表的论文到现在却已无人问津,再早4,5届师兄师姐苦苦实验论文写那些adboost,svm识别之类的,如今更加没什么人关注了。

毕业3年了,一看自己当年辛辛苦苦水的论文基本毫无参考价值了,只是静静挂在知网,告诉前人,这样子做过时了,然后成为了给后人铺路的垫脚石。也难怪,说计算机这一行是吃青春饭的一点也不过分,现在依然是弱AI,需要花非常长的时间通往到强AI,技术也会一直更新迭代下去,因此别以为自己掌握了某个技术,然后苦苦学习某个作者的算法思想再日夜优化,让代码极其工整好用就可以一直吃老本,然而技术往往像食物一样有保质期,经常是抵不过新技术一出来直接全部取代现有技术。工作干了3年DL,跟那种刚毕业的小年轻一比较,他们相当于读研学了3年,有3年新DL经验,我基本上没有技术壁垒上的优势,甚至我掌握的技术还要落后,不经常翻看每年新出的毕业论文根本不知道自己落后多少了。

当年辛辛苦苦写的功能,如今掉用个开源包一行代码就实现了。3年前比较火热的胶囊网络跌落神坛无人问津了,此后陆陆续续冒出各种注意力机制算法,今年是transformer大爆炸的一年,这是要一统cv和nlp的节奏,而yolo已从v3到v7,图神经网络和强化学习从19年的论文数量开始飙升,还有最近火的diffusion说是要开始淘汰gan,我的感觉就是,不久又会有很多新瓜出现。

现在研究AI的人更多了,起码计算机班半数人的硕士论文跟深度学习有关,如今也越来越卷了,深度学习分很多领域搞专细化了,同样是学深度学习的,比如搞目标跟踪的人看不懂对抗网络的东西,反过来也是。现在理论也越来越难学了,算法也越来越吃硬件了,18年还是宝物的1080短短两三年后就被停产淘汰了,如今美国佬却在限制A100,可见以后AI的发展会受到严重影响。

当年随便改改模型结构就发paper了,现在开始想要创新发论文必须挑一个领域研究得很细,并在细分领域搞突破才行,学得太广做万金油只对找工作有利。DL依然有很多问题待解决,做少样本元学习,无监督学习,增量学习,这些问题也是AI发展的瓶颈,无论学术界还是工业界都让人非常头疼,就看研究人能不能有突破然后发文章。既然这3年的变化巨大的,谁知道3年后会不会又有什么重大变化呢,依我看,做DL的研究依然能持续灌水多年。

北欧的鱼(哥德堡大学 人工智能博士在读)回答:

看你研究是底层算法,还是应用

底层算法的话,没成果太正常了,已经是瓶颈了,别说咱么这种科研最底层的博士学生了,大牛都没什么顶级成果。

应用的话,不同组合不同场景的尝试,想出成果很容易,但是为科学进步做贡献的成果就别想了。

paper的数量容易,质量就不容易了,我觉得你导师是这个意思。

所以我认为应该以找工作为主,只要数量,不要质量了。

(咱都这智商了,要什么自行车)

回答转自知乎,著作权归属原作者,侵删


往期回顾


基础知识

【CV知识点汇总与解析】|损失函数篇

【CV知识点汇总与解析】|激活函数篇

【CV知识点汇总与解析】| optimizer和学习率篇

【CV知识点汇总与解析】| 正则化篇

【CV知识点汇总与解析】| 参数初始化篇

【CV知识点汇总与解析】| 卷积和池化篇 (超多图警告)


最新论文解析

NeurIPS 2022 | VideoMAE:南大&腾讯联合提出第一个视频版MAE框架,遮盖率达到90%

NeurIPS 2022 | 清华大学提出OrdinalCLIP,基于序数提示学习的语言引导有序回归

SlowFast Network:用于计算机视觉视频理解的双模CNN

WACV2022 | 一张图片只值五句话吗?UAB提出图像-文本匹配语义的新视角!

CVPR2022 | Attention机制是为了找最相关的item?中科大团队反其道而行之!

ECCV2022 Oral | SeqTR:一个简单而通用的 Visual Grounding网络

如何训练用于图像检索的Vision Transformer?Facebook研究员解决了这个问题!

ICLR22 Workshop | 用两个模型解决一个任务,意大利学者提出维基百科上的高效检索模型

See Finer, See More!腾讯&上交提出IVT,越看越精细,进行精细全面的跨模态对比!

MM2022|兼具低级和高级表征,百度提出利用显式高级语义增强视频文本检索

MM2022 | 用StyleGAN进行数据增强,真的太好用了

MM2022 | 在特征空间中的多模态数据增强方法

ECCV2022|港中文MM Lab证明Frozen的CLIP 模型是高效视频学习者

ECCV2022|只能11%的参数就能优于Swin,微软提出快速预训练蒸馏方法TinyViT

CVPR2022|比VinVL快一万倍!人大提出交互协同的双流视觉语言预训练模型COTS,又快又好!

CVPR2022 Oral|通过多尺度token聚合分流自注意力,代码已开源

CVPR Oral | 谷歌&斯坦福(李飞飞组)提出TIRG,用组合的文本和图像来进行图像检索


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/149959
 
166 次点击