Py学习  »  机器学习算法

台大这门深度学习自然语言处理课程,可能被低估了

AINLP • 3 年前 • 347 次点击  

估计很多同学看到标题首先想到是李宏毅老师的“深度学习人类语言处理”课程,不过这次我们说的是台湾大学陈蕴侬老师的“应用深度学习”课程,这门课程我们之前在公众号上推荐过,不过主要给大家推荐的是课程视频和课件资源。前段时间,我把这门课程放在了B站上,并花了一点时间看了一下这门课程,觉得这门课程完全可以叫做“深度学习自然语言处理”,因为基本上就是讲得深度学习NLP。个人觉得这门课程结构安排得相当合理,并且重点在BERT及其相关的内容和NLP任务上,对于学习深度学习自然语言处理的同学来说,完全可以和李宏毅老师深度学习人类语言处理的课程互补。

课程主页:

https://www.csie.ntu.edu.tw/~miulab/s108-adl/

B站传送门:

https://www.bilibili.com/video/BV1Mi4y1V7A1

课程视频及课件网盘链接,请关注下列公众号并回复"ADL2020"获取:



让我们来看看这门课程的目录吧:

P1 Lecture 1.1 - What is ML什么是机器学习

P2 Lecture 1.2 - What is DL什么是深度学习

P3 Lecture 1.3 - How to Apply如何应用深度学习

P4 Lecture 2.1 - How to Train a Model如何训练模型

P5 Lecture 2.2 - What is Model什么是模型

P6 Lecture 2.3 - What does the 'Good' Function Mean什么叫做好的Function呢

P7 Lecture 2.4 - How can we Pick the 'Best' Function如何找出最好的Function

P8 Lecture 2.5 - Backpropagation效率地计算大量参数

P9 TA Recitation - Optimization

P10 Lecture 3.1 - Word Representations

P11 Lecture 3.2 - Language Modeling语言模型

P12 Lecture 3.3 - Recurrent Neural Network详细解析

P13 Lecture 3.4 - RNN Applications RNN各式应用

P14 TA Recitation - Practical Tips

P15 Lecture 4.1 - Attention Mechanism注意力机制

P16 Lecture 4.2 - Attention Applications注意力的各式应用

P17 Assignment 1 Tutorial

P18 Lecture 5.1 - Word Representation Review词向量各式表示法

P19 Lecture 5.2 - Word2Vec词向量

P20 Lecture 5.3 - Word2Vec Training如何训练词向量

P21 Lecture 5.4 - Negative Sampling

P22 Lecture 5.5 - Word2Vec Variants各种训练的变化方式

P23 Lecture 5.6 - GloVe词向量

P24 Lecture 5.7 - Word Vector Evaluation如何评价词向量的好坏

P25 Lecture 5.8 - Contextualized Word Embeddings前后文相关之词向量

P26 Lecture 5.9 - ELMo芝麻街家族之起源

P27 Lecture 6.1 - Basic Attention基本注意力模型复习

P28 Lecture 6.2 - Self Attention新注意力机制

P29 Lecture 6.3 - Multi-Head Attention

P30 Lecture 6.4- Transformer

P31 Lecture 6.5- BERT进击的芝麻街巨人

P32 TA Recitation- More on Embeddings

P33 Lecture 7.1 - Transformer-XL处理超长输入的Transformer

P34 Lecture 7.2 - XLNet兼顾AR及AE好处的模型

P35 Lecture 7.3 - RoBERTa,SpanBERT,XLM简单有用的改进方法

P36 Lecture 7.4- ALBERT如何让BERT缩小却依然好用呢

P37 TA Recitation - More on Transformers

P38 Lecture 8.1- Deep Reinforcement Learning Introduction

P39 Lecture 8.2- Markov Decision Process

P40 Lecture 8.3- Reinforcement Learning

P41 Lecture 8.4- Value-Based RL Approach

P42 Lecture 8.5- Advanced DQN

P43 Lecture 9.1- Policy Gradient

P44 Lecture 9.2- Actor Critic

P45 Lecture 10.1- Natural Language Generation

P46 Lecture 10.2- Decoding Algorithm

P47 Lecture 10.3- NLG Evaluation

P48 Lecture 10.4- RL for NLG(20-05-12)

P49 TA Recitation- RL for Dialogues

P50 GAN(Quick Review)

P51 GAN Lecture 4(2018)- Basic Theory

P52 GAN Lecture 6(2018)- WGAN,EBGAN

P53 Lecture 11.1- Unsupervised Learning Introduction

P54 Lecture 11.2- Autoencoder & Variational Autoencoder

P55 Lecture 11.3- Distant Supervision & Multi-Task Learning

P56 Lecture 12.1- Conversational AI Introduction对话AI简介

P57 Lecture 12.2- Task-Oriented Dialogues任务型对话

P58 Lecture 12.3- Chit-Chat Social Bots聊天型对话

P59 Lecture 13.1- Robustness对话系统的强健性

P60 Lecture 13.2- Scalability对话系统的扩展性

P61 Final Project- Rules & Grading

P62 Career Sharing求学经验分享

最后,不得不说台大公开课的质量还是很高的,无论是李宏毅老师,还是陈蕴侬老师的课程,对于需要中文视频课程资源的同学来说都是非常值得拥有的。

最后再次提示,课程视频及课件网盘链接,请关注下列公众号并回复"ADL2020"获取:

推荐阅读

这个NLP工具,玩得根本停不下来

征稿启示| 200元稿费+5000DBC(价值20个小时GPU算力)

完结撒花!李宏毅老师深度学习与人类语言处理课程视频及课件(附下载)

从数据到模型,你可能需要1篇详实的pytorch踩坑指南

如何让Bert在finetune小数据集时更“稳”一点

模型压缩实践系列之——bert-of-theseus,一个非常亲民的bert压缩方法

文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化

Node2Vec 论文+代码笔记

模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

中文命名实体识别工具(NER)哪家强?

学自然语言处理,其实更应该学好英语

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLPer(id:ainlper),备注工作/研究方向+加群目的。


阅读至此了,分享、点赞、在看三选一吧🙏

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/72375
 
347 次点击