几年前如果熟练使用TensorFlow，同时掌握基本的AI算法就可以很容易找到一份高薪的工作，但现在不一样了，AI岗位的要求越来越高，对知识的深度也提出了更高的要求。
如果现在一个面试官让你从零推导SVM的Dual、从零实现CRF、推导LDA、设计一个QP问题、从零编写XLNet、编写GCN/GNN、改造SkipGram模型、用一天时间复现一篇顶级会议.... 这些要求一点都不过分。相反，连这些基本内容都有些吃力，就需要重新审视一下自己的核心技术壁垒了。
为了迎合时代的需求，我们去年推出了《机器学习高端训练营》班。这个训练营的目的很简单：想培养更多高端的人才，帮助那些即将或者目前从事科研的朋友，同时帮助已从事AI行业的提高技术深度。
在本期训练营（第四期）中我们对内容做了大幅度的更新，一方面新增了对前沿主题的讲解如图神经网络（GCN,GAT等），另外一方面对核心部分（如凸优化、强化学习）加大了对理论层面上的深度。除此之外，也会包含科研方法论、元学习、解释性、Fair learning等系列主题。目前在全网上应该找不到类似体系化的课程。课程仍然采用全程直播授课模式。
那什么样的人适合来参加高阶班呢？
从事AI行业多年，但技术上总感觉不够深入，感觉在技术上遇到了瓶颈；
停留在使用模型/工具上，很难基于业务场景来提出新的模型；
对于机器学习背后的优化理论、前沿的技术不够深入；
计划从事尖端的科研、研究工作、申请AI领域研究生、博士生；
打算进入最顶尖的AI公司比如Google，Facebook，Amazon， 阿里，头条等；
读ICML，IJCAI等会议文章比较吃力，似懂非懂感觉，无法把每个细节理解透；
从优化角度理解机器学习
优化技术的重要性
常见的凸优化问题
线性规划以及Simplex Method
Two-Stage LP
案例：运输问题讲解
拉格朗日对偶函数
对偶的几何意义
Weak and Strong Duality
KKT条件
LP, QP, SDP的对偶问题
案例：经典模型的对偶推导及实现
对偶的其他应用
向量空间和图论基础
Inner Product, Hilbert Space
Eigenfunctions, Eigenvalue
傅里叶变化
卷积操作
Time Domain, Spectral Domain
Laplacian, Graph Laplacian
卷积神经网络回归
卷积操作的数学意义
Graph Convolution
-
Graph Filter
ChebNet
CayleyNet
GCN
Graph Pooling
案例：基于GCN的推荐
Markov Decision Process
Bellman Equation
三种方法：Value，Policy，Model-Based
Value-Based Approach: Q-learning
Policy-Based Approach: SARSA
Monte-Carlo Tree Search
N-step learning
Approximation
Reward Shaping
结合深度学习：Deep RL
-
项目作业：强化学习在游戏中的应用案例
第十四周：贝叶斯方法论简介
第十五周：主题模型
Detailed Balance
对于LDA的吉布斯采样
对于LDA的Collapsed吉布斯采样
Metropolis Hasting
Importance Sampling
Rejection Sampling
大规模分布式MCMC
大数据与SGLD
案例：基于分布式的LDA训练
第十七周：变分法（Variational Method)模型的可解释性
解释CNN模型
解释序列模型
Meta Learing
Fair Learning
技术前瞻
运输优化问题：在运筹学以及优化领域最为经典的问题之一，类似的思想广泛应用在仓库优化，匹配等问题上。线性回归以及优化实现
Two-Stage随机线性规划一下优化实现
打车中的路径规划问题：我们几乎每天都在使用打车软件或者外卖软件。对于这些应用来讲，核心算法应用就是乘客和车辆的匹配。经典机器学习模型的对偶推导及实现：通过此练习，更深入理解机器学习模型以及对偶的作用。基于图神经网络的文本分类：当使用语法分析工具处理文本之后，一段文本便可以成为一个图，接下来就可以使用图卷积神经网络来做后续的分类工作
基于图神经网络的阅读理解：一般的阅读需要让机器阅读多个文章并对提出的问题给出答案。在阅读理解中抽取关键的实体和关系变得很重要，这些实体和关系可以用来构造一个图。命名识别，关系抽取
图神经网络
Heterogeneous Graph
Bandits在推荐系统的应用案例：Bandits应用在顺序决策问题的应用中有易于实现、计算效率高、解决冷启动问题、数据标注相对要求不高（一般只需部分标注作为reward，如用户点击）等优点。本案例讲解bandits如何应用在新闻推荐的系统中做基于内容的推荐。使用概率编程工具来训练贝叶斯模型：类似于Pytorch，Tensorflow，概率编程工具提供了对贝叶斯模型的自动学习，我们以LDA等模型为例来说明这些工具的使用。 股票投资组合优化：在投资组合优化中，我们需要根据用户的风险承受能力来设计并组合资产。在本项目中，我们试着在二次规划的框架下做一些必要的修改如加入必要的限制条件、必要的正则来控制组合的稀疏性、加入投资中的先验等信息，最后根据预先定义好的评估标准来引导模型的学习二次规划
不同的正则使用
基于限制条件的优化
先验的引入
李文哲：贪心科技创始人兼CEO，人工智能和知识图谱领域专家，曾任金融科技独角兽公司的首席科学家、美国亚马逊的高级工程师，先后负责过聊天机器人、量化交易、自适应教育、金融知识图谱等项目，并在AAAI、KDD、AISTATS等顶会上发表过15篇以上论文，并荣获IAAI，IPDPS的最佳论文奖，多次出席行业峰会发表演讲。分别在USC, TAMU，南开攻读博士、硕士和本科。杨栋：香港城市大学博士, UC Merced博士后，主要从事于机器学习，图卷积，图嵌入的研究。先后在ECCV, Trans on Cybernetics, Trans on NSE, INDIN等国际顶会及期刊上发表过数篇论文。担任过贪心学院高阶课程的讲师，获得了学员一致的好评。 区别于劣质的PPT讲解，导师全程现场推导，让你在学习中有清晰的思路，深刻的理解算法模型背后推导的每个细节。更重要的是可以清晰地看到各种模型之间的关系！帮助你打通六脉！
▲源自：Convex Optimization 讲解▲源自：Convergence Analysis 讲解
