【机器学习】时序预测必知的的统一Benchmarking框架

简介

尽管机器学习取得了显著进展，但主要的重点一般都还是放在数据获取以及构建模型上。然而，在真实世界环境中，我们需要一个标准化的能全面评估机器学习解决方案，这个在时序问题中更为重要，因为不同的环境条件妨碍了对各种方法进行有意义的比较。

所以本文我们介绍一个统一的基准框架，开发时间序列预测模型涉及的关键建模和机器学习决策。该框架可以使模型和数据集进行无缝集成。我们在这个框架内对最近提出的模型进行了基准测试，结果表明，精心设计的深度学习模型可以与需要大量特征工程和专业知识的梯度提升决策树相媲美，而且只需很少的工作量。

该框架逻辑很经典，目前很多朋友在处理类似问题时也都会用到类似的框架，是非常经典且有意义的。

核心框架

- 数据：为改善数据并将其转化为用于模型训练的格式。这其中包括数据选择、整理和清洗等。

- 训练：针对输入数据和模型所做的决策，以改善下游性能。这包括针对输入数据的模型设计、优化和选择标准。•

- 推理：针对部署和对未见数据输入进行预测所做的决策。 

- 调节器：一旦上述组件被定义，该组件选择顶级配置并将其用于部署后的模型监控、重新训练和不确定性量化。

实验

DeepAR，尽管在单独训练时表现不佳（例如WikiTraffic数据集），但在集成模型中展现出了显著的转变。如上表所示，利用DeepAR的集成模型相比其他模型取得了显著优越的性能。这一有趣的发现突显了看似Weak的模型在集成配置中作为强大基准的潜力。通过利用各个模型的不同优势，集成模型可以共同实现更优越的性能，即使一些组件在单独运行时表现不佳。

小结

时序预测因为缺乏标准化对进展构成了重大障碍。即便使用相同的数据集，这一问题体现在报告实践的不一致性上，正如各种研究中报告的指标出现差异所证明的那样。此外，

• 很多报告使用次优超参数得到的结果进一步模糊了不同模型的真实性能潜力，使人难以明智地判断它们的相对优势和劣势。

TSPP框架有助于无缝整合不同数据集和训练/推断逻辑。此外，该框架在整个工作流程中透明地暴露决策过程，使优化工具能够指导研究人员和开发人员进行探索。实证评估显示，

• 深度学习方法在时间序列预测方面表现出了与XGBoost模型竞争力相当的性能，挑战了传统认为特征工程方法一直主导该领域的看法。

通过推动标准化和透明化，本工作为时间序列预测领域的更加健壮和可重复的研究铺平了道路。

参考文献

1.https://github.com/NVIDIA/DeepLearningExamples/tree/master/Tools/PyTorch/TimeSeriesPredictionPlatform

2.https://arxiv.org/pdf/2312.17100.pdf

    



    
往期精彩回顾







    
适合初学者入门人工智能的路线及资料下载
(图文+视频)机器学习入门系列下载
机器学习及深度学习笔记等资料打印
《统计学习方法》的代码复现专辑

• 交流群

欢迎加入机器学习爱好者微信群一起和同行交流，目前有机器学习交流群、博士群、博士申报交流、CV、NLP等微信群，请扫描下面的微信号加群，备注：”昵称-学校/公司-研究方向“，例如：”张小明-浙大-CV“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~（也可以加入机器学习交流qq群772479961）