Hyperparameter optimization is a classical problem in machine learning. Traditional hyperparameter optimization methods only consider finite candidates which conflicts the fact that the ultimate goal of hyperparameter optimization is to find the model in the whole parameter space. This talk will discuss how to solve the hyperparameter optimization problem with one parameter, multiple parameters or super multiple parameters in the whole parameter space. Specifically, 1) for one parameter, we propose the generalized error path algorithm to find the model with the minimum cross validation error in the whole parameter space. 2) For cost sensitive support vector machine with two parameters, we propose a solution and error surface algorithm, and try to find the model with the minimum cross validation error in the whole parameter space; 3) For super multiple parameters, we propose a new hyperparameter optimization method with zeroth-order hyper-gradients which enjoys the properties of simplicity, scalability, flexibility, effectiveness and efficiency.
主题：《 Hyperparameter Optimization in Machine Learning 》
嘉宾：顾彬助理教授
时间：北京时间 2021 年 6 月 19 号（周六）晚 20：00
地点：『运筹OR帷幄』哔哩哔哩直播间
链接：live.bilibili.com/21459168
录播：https://www.bilibili.com/video/BV18f4y1t7fv
Bin Gu currently is an assistant professor of department of machine learning in Mohamed bin Zayed University of Artificial Intelligence. Before joining MBZUAI, he was a full professor of Nanjing University of Information Science and Technology. His research interests focus on large scaling optimization in machine learning and data mining. He has published 60 more papers, with over 2,500 citations according to Google Scholar. He served as a program committee member or reviewer for several leading machine learning and data mining conferences and journals such as NeurIPS, ICML, KDD, AAAI, TPAMI, JMLR, and a senior program committee member of IJCAI 2019-2021.
后台回复关键词“ ORtalk”可获取本期 PPT 的完整内容。
这个八角形，实际上这个 max （见PPT13页）去约束它，你是要取最大，两个中选择其中一个，如果只考虑两维的情况下去尝试把它的可行区间写出来，你要保证它相等，那这个（八角形）它的对角线的话两两之间是对称的，所以如果把它解析的写出来的话，它有这样的特性，又有绝对值，是这样一个情形。
zeroth-order 是不是相当于
结合了黑盒优化和梯度方法的优势呢？
这个是对的，因为我们在设计这个方法的时候，我们总结了黑盒优化和梯度法它有两个完全不一样的特性，两个完全不相交的优势 （见PPT43页），所以我们的想法就是说如何去设计既是黑盒优化又是梯度方法的这么一个新的方法，这样就能遗传到这两个方法的优势，这个理解是对的。
zeroth-order在任何情况下
都是最优的超参优化方法吗
(相对于单一的黑盒优化和梯度方法)？
我们的实验表明，至少在推广能力方面，我们的 zeroth-order 优化方法，因为它是近似的，如果说严格的和梯度方法比，它是有一点点近似，因为这个是零阶方法会有近似参数在里面，它会有一个系统性的误差的，但是这个系统性误差，其实对我们的学习算法其实不造成太大的影响，其实如果把这个忽略掉的话，就是跟梯度方法比，它的这个推广能力其实是区别不是很大。你可以认为在处理超参能力、推广能力方面跟梯度法是相当的，确确实实是目前在这些指标上面是最好的。然后在这个 flexibility 能处理不同的算法这个特性呢，（zeroth-order 方法）与黑盒方法又是相当的，但稍微有一点点不一样，黑盒方法，比如贝叶斯方法，它可以处理这个非连续的，所以我们在非连续的上可以进一步的做工作。我们这里考虑的是连续的，在大部分情况下，zeroth-order 方法是比较有优势的，尤其是在超参特别多的时候。
所以对于离散的超参，
目前我们也可以先把其当成连续超参
对待来进行优化吗？
这个跟贝叶斯优化不太一样。因为贝叶斯优化里面，离散的或者是连续的参数对它没有什么特别大的影响。对我们HOZOG，如果你把离散的转化成连续的话呢，它需要近似梯度。这个时候因为离散问题梯度可能为0，算法就不能实现成功的更新。但是对有些离散问题，比如说对神经网络结构搜索，就没有这个问题。这个还是要具体问题具体对待，目前我们这个工作还在探索当中。
它其实不仅仅是解决双层规划，它还可以解决其他的问题，因为它本来是个黑盒方法。HOZOG 不太 care 你是一个双层优化问题，还是一个单层优化问题。如果就是你认为你的问题是比较难解决的，参数是连续的，目标函数是连续的，那可以试试 HOZOG。
黑盒优化的话呢，它是优化中一个比较 general 的名词。贝叶斯优化呢，是优化当中一个具体的算法。它只用到了这个函数的 input 和 output，所以说，它可以认为是一个黑盒方法。我们用的zeroth order方法，它通过两个函数输出的差来近似它的梯度。它也只用到了函数的输入和输出，也并不知道函数的具体的 formulation，所以它也是一种黑盒优化方法。一个典型的例子就是对抗攻击，你要去生成一个对抗样本。但是我们无法获取 model的具体形式，但是我们给一个 input可以获得它对应的output，这个就是一个黑盒优化的例子。那么刚才讲的这个黑盒优化是个比较 general 的概念，包括格子搜索 (Grid Search)，你都可以看作是一个黑盒优化。
对这个是可以的，激活函数把离散的变成连续的，这个有点类似于神经网络结构搜索，是可以这么做的。
世界第一所人工智能大学博士后及研究助理职位招聘
Postdoctoral Research Fellow and Research Assistant Openings at MBZUAI, UAE
背景信息：
阿联酋人工智能大学Bin Gu(https://mbzuai.ac.ae/pages/bin-gu/)和Huan Xiong(https://mbzuai.ac.ae/pages/huan-xiong/)的研究组最近要招聘多名研究助理（Research Assistant）和博士后（Postdoctoral Research Fellow），主要研究任务是围绕Spiking Neural Networks在国际知名学术杂志以及会议上发表研究成果。
招聘信息：
1. 项目博士后：主要围绕Spiking Neural Networks展开项目研究，2个名额。
2. 普通博士后：围绕各种机器学习问题自由展开研究，1个名额。
3. 研究助理若干。
基本要求：
1、 有良好的研究态度，对工作认真、严谨、负责；
2、 数学类课程掌握扎实，具有良好的理论素质；
3、 优先考虑具有相关领域研究工作经历、在知名国际会议(e.g., ICML, NeurIPS, ICLR, AAAI, CVPR, ICCV) 或者杂志上(e.g., JMLR, T-PAMI)发表过研究成果的申请者。
工资待遇：
课题组将为博士后提供有竞争力的薪资待遇；充分的学术自由以从事前沿研究并发表顶级水平论文的研究环境；立即开始研究工作所需的尖端实验条件。
联系方式：
如果您感兴趣，请将个人简历及发送至bin.gu@mbzuai.ac.ae 或者 huan.xiong@mbzuai.ac.ae
另外，如果您也有兴趣分享运筹学及相关领域的精彩内容，欢迎联系我们！我们诚挚的邀请您和我们一同建设全球最大的运筹学/数据科学/人工智能中文社群。可点击下方链接浏览更多详细内容~
视频版块现招募一名责编，要求：
1. 国内外运筹学等相关专业硕士在读或以上；
2. 主要负责视频相关工作，要求会视频剪辑制作；
3. 工作积极，具有团队意识；
4. 每周保证工作时间3-5小时；
5. 有实习经历者优先。
关于我们：『运筹OR帷幄』团队掠影
请将简历发送至：operations_r@163.com
欢迎加入我们这个大家庭！
