Py学习  »  机器学习算法

豆瓣评分9.4!跟邱锡鹏教授一起学「神经网络与深度学习」,7月19日开课

PaperWeekly • 1 年前 • 184 次点击  
我们经常会在后台收到一些比较简要的技术咨询,描述了是什么任务,发现用BERT粗暴精调效果不好之后,问我们有什么办法可以提升。我们:
在面对第一把梭就失败时,我们通常是这么判断的:
1. 如果效果差的很离谱,比如二分类准确率在60%以下,那大概率是模型有问题,开始用小数据集debug
2. 如果有点效果,但一言难尽,那估计是数据有问题,要不然噪声多,要不然是真的难,可以自己看一下训练集,如果人看完后在几秒内都不能给出答案,就别太指望模型可以做好

在第一把效果还行的情况下,推荐尝试以下策略:

1. In-Domain Further Pre-train:利用同领域下的无监督数据继续MLM预训练,这个方法我真的百试不厌,一般用一两百万的数据就能提升1-2个点;
2. Within-Task Further Pre-Training:利用不同领域的同任务数据预先精调,选通用一些的一般也有提升;
3. Multi-Task Fine-Tuning:利用不同任务预先精调;
4. Layer-wise Decreasing Layer Rate:每层学到的知识都是不同的,前面几层会更通用,所以学的时候可以用小一点的学习率,防止灾难性遗忘;
5. Features from Different layers:把不同层的输出集成起来,不过这个方法不一定有提升;
6. 长文本处理:截断或使用层次化编码。

以上这些方法,都出自复旦邱锡鹏老师的《How to fine-tune BERT for text classification?》,该文进行了各种详细的实验,得出了不少有用的结论,推荐大家去学习。即使有的方法在论文数据集中表现一般,在自己的数据上也可以尝试。

估计很多同学都知道邱老师,他的《神经网络与深度学习》(即蒲公英书)在豆瓣评分9.4,是一本十分适合算法同学入门、复习的读物。

但虽然基础有了,真到coding的时候往往还是下不去手,怎么破?

Don't Worry!邱神联合百度飞桨,以蒲公英书为基础,出品了配套产业案例与实践的免费教程!

其中很多知识点,都会配上底层代码,帮大家稳稳拿捏,比如BatchNorm:
同时,为了让大家更好地了解该课程的设计思想,提高学习效率, 邱神还将和百度飞浆工程师团队一起做直播,跟大家在线实时交流!(文末报名)

丰富题库实践

深度学习是一门实验性质很强的学科,纯学习理论很难get到不同算法、模型在实际场景中的表现差异和细节影响,边学边练才是这类学科的正确打开方式。这套教程除常规例程外,还配了近百道习题,选择题、实践题层层递进,有序覆盖最核心的知识点。(如第八章“注意力机制”就选了『基于自注意力机制完成LCQMC文本语义匹配任务』作为项目实践,这些强匹配的实践题对大家深入理解理论知识是十分有效的。)

产业真实实践案例

产业逐渐向落地应用递进的同时,工程师们面对的真实场景自然增多,练过且有思路的同学要抢手的多。做过落地case的同学都懂,真实场景VS基于理想化数据的代码实践,那就是猛虎 VS Kitty。所以强烈建议大家用好这门课配套的真实场景实践赛题和范例。

有心、可靠的助攻天团

百度研发工程师每晚视频答疑,报名、有网就能参加。
由5位飞桨开发者技术专家或NLP方向在读博士生等高阶开发者组成的
助教团将在未来两周全天在线答疑护航。
从此再也不怕无名小坑一卡卡一周了~

在线、免费的GPU环境

真『有网就行』、『有手就行』的平台支持,报名就能使用NVIDIA Tesla V100/A100 GPU算力。
邱神直播开课、实时互动、在线问答
7月19日(周二)20:30,邱神、百度飞桨团队、机械工业出版社联合直播开讲。

小白、基础不扎实的同学都友好

每章视频课都细分为了数十个小节,非常小白的同学推荐先学前三节,普通同学可以自主学习更深入的小节。并且在案例与实践部分,每节课会有一半时间会带着大家现场看项目、做实践~一步一步带大家做数据预处理、搭模型、做优化等。
学习旅程的见证:官方结业证书
若能坚持学完课程、完成必修部分的作业实践任务并达到及格,即可获得邱神签名的飞桨官方结业证书,上面有邱神手写鼓励语哦~
重要的事情说三遍
代码开源的!全程免费的!官方出品的!
报名入口在文末!

福利彩蛋

参与课程过程中,为蒲公英案例与实践教程、飞桨框架、AI Studio平台等部分提供有效建议、纠错、代码等贡献;或结业总成绩进入前50名,即可获得Tesla V100 GPU算力卡、阶梯奖学金、百度网盘超级会员、度厂周边等多种学习激励!

传送门

我们会通过Q群(392155840)进行在线答疑助攻、信息同步(直播开课时间、课程视频及题库地址、闭门答疑会议号、每日学习任务海报、抽奖信息)等,欢迎加入~
扫码立即报名


跟邱神一起强基础!

和飞桨一起练实践!

愿你学有所获,像蒲公英的种子一样在人工智能产业大地上落地生根,与我们一起用知识传递信仰!
Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/137549
 
184 次点击