深度神经网络通过扩展模型容量、数据和计算，达到了当前最先进的性能。然而，这种扩展也放大了模型在资源受限、工作负载波动环境中的部署成本。本论文论证了环境可变性——无论是不可预测的还是渐进的——都可以作为实现效率的杠杆，从而构建自适应系统，在保持离线性能的同时，将计算量减少一个数量级甚至更多。
第一部分聚焦于任意环境，在这种环境中，机器学习推理预算可能在不同查询之间发生变化。第二章中，我们提出了 b-distil，一种渐进式集成蒸馏算法，它能够将单一、刚性的教师模型转化为具有可调成本旋钮的弹性学生模型。在多种视觉、语音和传感任务上，该学生模型在大幅降低推理成本的同时，性能可与教师模型匹敌。第三章介绍了 ABC，一种无需训练的级联方法，它能够重用现有模型（无需进一步修改），并依赖集成一致性来实时检测“简单”查询，使平均推理成本相比最佳单模型降低 2–5 倍。
第二部分聚焦于性质随时间缓慢漂移的良性环境。第四章提出了 持续优化（Continual Optimization, CO），一种面向相关优化问题序列的有状态范式，旨在跨轮次摊销计算开销。以 GPU 集群调度问题为例，从 CO 的视角出发，我们定义了其潜在的良性结构，并提出了 COpter，一种 CO 方法。通过跨轮次复用计算，COpter 将最新求解器的速度提升了 10–100 倍，同时产出的调度结果仍可与离线最优解相媲美。第五章将 CO 应用于两个超出机器学习范围的资源分配问题——分片负载均衡与广域网流量工程，在这些任务中，COpter 同样实现了 10–50 倍的平均求解时间降低，而解的质量几乎无损。
综上所述，这些研究成果表明，自适应计算能够支撑高效、准确且广泛可部署的机器学习系统。
专知便捷查看，访问下面网址或点击最底端“阅读原文”
https://www.zhuanzhi.ai/vip/1a2562d39fbce782558e06dbd2d6cd8b
点击“阅读原文”，查看下载本文
