第一阶段 机器学习基础与凸优化
【核心知识点】
. KNN算法，Weighted KNN算法
. Approximated KNN算法
. KD树，近似KD树
. Locality Sensitivity Hashing
. 线性回归模型
. Bias-Variance Trade-off
. 正则的使用：L1, L2, L-inifity Norm
. LASSO， Coordinate Descent，ElasticNet
. 逻辑回归与最大似然
. 随机梯度下降法与小批量梯度下降法
. 多元逻辑回归模型
. 凸集，凸函数
. 凸函数与判定凸函数
. Linear/Quadratic/Integer Programming
. 对偶理论，Duality Gap，KKT条件
. Projected Gradient Descent
. 迭代式算法的收敛分析
【部分案例讲解】
. 基于QP的股票投资组合策略设计
. 基于LP的短文本相似度计算
. 基于KNN的图像识别
第二阶段 SVM与集成模型
【核心知识点】
. Max-Margin的方法核心思想
. 线性SVM的一步步构建
. Slack Variable以及条件的松弛
. SVM的Dual Formulation
. Kernelized SVM
. 不同核函数的详解以及使用. 核函数设计以及Mercer's Theorem
. Kernelized Linear Regression
. Kernelized PCA, Kernelized K-means
. 集成模型的优势
. Bagging, Boosting, Stacking
. 决策树以及信息论回顾
. 随机森林，完全随机森林
. 基于残差的提升树训练思想
. GBDT与XGBoost
. 集成不同类型的模型
. VC理论
【部分案例讲解】
. 基于XGBoost的金融风控模型
. 基于PCA和Kernel SVM的人脸识别. 基于Kernal PCA和Linear SVM的人脸识别
第三阶段 无监督学习与序列模型
【核心知识点】
. K-means算法， K-means++
. EM算法以及收敛性
. 高斯混合模型以及K-means
. 层次聚类算法
. Spectral Clustering
. DCSCAN
. 隐变量与隐变量模型
. HMM的应用以及参数
. 条件独立、D-separation
. 基于Viterbi的Decoding
. Forward/Backward算法
. 基于EM算法的参数估计
. 有向图与无向图模型区别
. Log-Linear Model
. Feature Function的设计
. Linear CRF以及参数估计
【部分案例讲解】
. 基于HMM和GMM的语音识别
. 基于聚类分析的用户群体分析
. 基于CRF的命名实体识别
第四阶段 深度学习
【核心知识点】
. 神经网络与激活函数
. BP算法
. 卷积层、Pooling层、全连接层
. 卷积神经网络
. 常用的CNN结构
. Dropout与Batch Normalization
. SGD、Adam、Adagrad算法
. RNN与梯度消失
. LSTM与GRU
. Seq2Seq模型与注意力机制
. Word2Vec, Elmo, Bert, XLNet
. 深度学习中的调参技术
. 深度学习与图嵌入（Graph Embedding）
. Translating Embedding (TransE)
. Node2Vec
. Graph Convolutional Network
. Structured Deep Network Embedding
. Dynamic Graph Embedding
【部分案例讲解】
. 基于Seq2Seq和注意力机制的机器翻译
. 基于TransE和GCN的知识图谱推理
. 基于CNN的人脸关键点检测
第五阶段 推荐系统与在线学习
【核心知识点】
. 基于内容的推荐算法
. 基于协同过滤的推荐算法
. 矩阵分解
. 基于内容的Gradient Tree
. 基于深度学习的推荐算法
. 冷启动问题的处理
. Exploration vs Exploitation
. Multi-armed Bandit
. UCB1 algorithm，EXP3 algorithm
. Adversarial Bandit model
. Contexulalized Bandit
. LinUCB
【部分案例讲解】
. 使用Gradient Boosting Tree做基于 interaction 与 content的广告推荐
. 使用深度神经网络做基于interaction 与 content的推荐
. LinUCB做新闻推荐, 最大化rewards
第六阶段 贝叶斯模型
【核心知识点】
. 主题模型（LDA) 以及生成过程
. Dirichlet Distribution, Multinomial Distribution
. 蒙特卡洛与MCMC
. Metropolis Hasting与Gibbs Sampling
. 使用Collapsed Gibbs Sampler求解LDA
. Mean-field variational Inference
. 使用VI求解LDA
. Stochastic Optimization与Bayesian Inference
. 利用SLGD和SVI求解LDA
. 基于分布式计算的贝叶斯模型求解
. 随机过程与无参模型（non-parametric)
. Chinese Retarant Process
. Stick Breaking Process
. Stochastic Block Model与MMSB
. 基于SGLD与SVI的MMSB求解
. Bayesian Deep Learning模型. Deep Generative Model
【部分案例讲解】
. 基于Bayesian LSTM的文本分析
. 使用无参主题模型做文本分类
. 基于贝叶斯模型实现小数量的图像识别
第七阶段 增强学习与其他前沿主题
【核心知识点】
. Policy Learning
. Deep RL
. Variational Autoencoder(VAE)与求解
. 隐变量的Disentangling
. 图像的生成以及Disentangling
. 文本的生成以及Disentangling
. Generative Adversial Network(GAN)
. CycleGan
. 深度学习的可解释性
. Deconvolution与图像特征的解释
. Layer-wise Propagation
. Adversial Machine Learning
. Purturbation Analysis
. Fair Learning
【部分案例讲解】
. 基于GAN的图像生成
. 基于VAE的文本Style Transfer
. 可视化机器翻译系统
