估计很多同学看到标题首先想到是李宏毅老师的“深度学习人类语言处理”课程,不过这次我们说的是台湾大学陈蕴侬老师的“应用深度学习”课程,这门课程我们之前在公众号上推荐过,不过主要给大家推荐的是课程视频和课件资源。前段时间,我把这门课程放在了B站上,并花了一点时间看了一下这门课程,觉得这门课程完全可以叫做“深度学习自然语言处理”,因为基本上就是讲得深度学习NLP。个人觉得这门课程结构安排得相当合理,并且重点在BERT及其相关的内容和NLP任务上,对于学习深度学习自然语言处理的同学来说,完全可以和李宏毅老师深度学习人类语言处理的课程互补。
课程主页:
https://www.csie.ntu.edu.tw/~miulab/s108-adl/
B站传送门:
https://www.bilibili.com/video/BV1Mi4y1V7A1
课程视频及课件网盘链接,请关注下列公众号并回复"ADL2020"获取:
让我们来看看这门课程的目录吧:
P1 Lecture 1.1 - What is ML什么是机器学习
P2 Lecture 1.2 - What is DL什么是深度学习
P3 Lecture 1.3 - How to Apply如何应用深度学习
P4 Lecture 2.1 - How to Train a Model如何训练模型
P5 Lecture 2.2 - What is Model什么是模型
P6 Lecture 2.3 - What does the 'Good' Function Mean什么叫做好的Function呢
P7 Lecture 2.4 - How can we Pick the 'Best' Function如何找出最好的Function
P8 Lecture 2.5 - Backpropagation效率地计算大量参数
P9 TA Recitation - Optimization
P10 Lecture 3.1 - Word Representations
P11 Lecture 3.2 - Language Modeling语言模型
P12 Lecture 3.3 - Recurrent Neural Network详细解析
P13 Lecture 3.4 - RNN Applications RNN各式应用
P14 TA Recitation - Practical Tips
P15 Lecture 4.1 - Attention Mechanism注意力机制
P16 Lecture 4.2 - Attention Applications注意力的各式应用
P17 Assignment 1 Tutorial
P18 Lecture 5.1 - Word Representation Review词向量各式表示法
P19 Lecture 5.2 - Word2Vec词向量
P20 Lecture 5.3 - Word2Vec Training如何训练词向量
P21 Lecture 5.4 - Negative Sampling
P22 Lecture 5.5 - Word2Vec Variants各种训练的变化方式
P23 Lecture 5.6 - GloVe词向量
P24 Lecture 5.7 - Word Vector Evaluation如何评价词向量的好坏
P25 Lecture 5.8 - Contextualized Word Embeddings前后文相关之词向量
P26 Lecture 5.9 - ELMo芝麻街家族之起源
P27 Lecture 6.1 - Basic Attention基本注意力模型复习
P28 Lecture 6.2 - Self Attention新注意力机制
P29 Lecture 6.3 - Multi-Head Attention
P30 Lecture 6.4- Transformer
P31 Lecture 6.5- BERT进击的芝麻街巨人
P32 TA Recitation- More on Embeddings
P33 Lecture 7.1 - Transformer-XL处理超长输入的Transformer
P34 Lecture 7.2 - XLNet兼顾AR及AE好处的模型
P35 Lecture 7.3 - RoBERTa,SpanBERT,XLM简单有用的改进方法
P36 Lecture 7.4- ALBERT如何让BERT缩小却依然好用呢
P37 TA Recitation - More on Transformers
P38 Lecture 8.1- Deep Reinforcement Learning Introduction
P39 Lecture 8.2- Markov Decision Process
P40 Lecture 8.3- Reinforcement Learning
P41 Lecture 8.4- Value-Based RL Approach
P42 Lecture 8.5- Advanced DQN
P43 Lecture 9.1- Policy Gradient
P44 Lecture 9.2- Actor Critic
P45 Lecture 10.1- Natural Language Generation
P46 Lecture 10.2- Decoding Algorithm
P47 Lecture 10.3- NLG Evaluation
P48 Lecture 10.4- RL for NLG(20-05-12)
P49 TA Recitation- RL for Dialogues
P50 GAN(Quick Review)
P51 GAN Lecture 4(2018)- Basic Theory
P52 GAN Lecture 6(2018)- WGAN,EBGAN
P53 Lecture 11.1- Unsupervised Learning Introduction
P54 Lecture 11.2- Autoencoder & Variational Autoencoder
P55 Lecture 11.3- Distant Supervision & Multi-Task Learning
P56 Lecture 12.1- Conversational AI Introduction对话AI简介
P57 Lecture 12.2- Task-Oriented Dialogues任务型对话
P58 Lecture 12.3- Chit-Chat Social Bots聊天型对话
P59 Lecture 13.1- Robustness对话系统的强健性
P60 Lecture 13.2- Scalability对话系统的扩展性
P61 Final Project- Rules & Grading
P62 Career Sharing求学经验分享
最后,不得不说台大公开课的质量还是很高的,无论是李宏毅老师,还是陈蕴侬老师的课程,对于需要中文视频课程资源的同学来说都是非常值得拥有的。
最后再次提示,课程视频及课件网盘链接,请关注下列公众号并回复"ADL2020"获取:
推荐阅读
这个NLP工具,玩得根本停不下来
征稿启示| 200元稿费+5000DBC(价值20个小时GPU算力)
完结撒花!李宏毅老师深度学习与人类语言处理课程视频及课件(附下载)
从数据到模型,你可能需要1篇详实的pytorch踩坑指南
如何让Bert在finetune小数据集时更“稳”一点
模型压缩实践系列之——bert-of-theseus,一个非常亲民的bert压缩方法
文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化
Node2Vec 论文+代码笔记
模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结
中文命名实体识别工具(NER)哪家强?
学自然语言处理,其实更应该学好英语
斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用
关于AINLP
AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLPer(id:ainlper),备注工作/研究方向+加群目的。
阅读至此了,分享、点赞、在看三选一吧🙏