【导读】可解释深度学习多窗口时间预测
多时间窗口预测，即在多个未来时间步上预测感兴趣的变量，是时间序列机器学习中的一个关键挑战。大多数真实世界的数据集都有时间信息，预测未来可以释放巨大的价值。例如，零售商可以利用未来的销售来优化其供应链和促销活动，投资经理对预测金融资产的未来价格感兴趣，以最大限度地提高其绩效，而医疗保健机构可以利用未来的病人入院数量来获得足够的人员和设备。https://www.sciencedirect.com/science/article/pii/S0169207021000637深度神经网络(DNN)越来越多地应用于多水平预测，与传统的时间序列模型相比，表现出了强大的性能改进。许多模型(例如DeepAR, MQRNN)都关注于循环神经网络(RNNs)的变体，最近的改进，包括基于转换的模型，已经使用基于注意力的层来增强过去相关时间步骤的选择，而不是基于RNNs的归纳偏差——对信息的顺序处理，包括。然而，这些方法往往没有考虑到多水平预测中普遍存在的不同输入，或者假设所有外生输入都是已知的，或者忽略了重要的静态协变量。
从理论上讲，传统的时间序列模型是由多个参数之间复杂的非线性相互作用控制的，因此很难解释这些模型是如何得出预测的。然而，解释DNNs行为的常用方法是有局限性的。例如，事后方法(例如LIME和SHAP)不考虑输入特征的顺序。一些基于注意力的模型对序列数据(主要是语言或语音)具有固有的解释性，但多时间窗口预测有许多不同类型的输入，而不仅仅是语言或语音。基于注意力的模型可以提供对相关时间步骤的洞察，但它们不能区分不同特征在给定时间步骤中的重要性。需要新的方法来解决多水平预测中数据的异质性，并使这些预测具有可解释性。
为此，我们在《国际预测杂志》(International Journal of Forecasting)上发表了“用于可解释多窗口时间序列预测的时间融合Transformer ”(Temporal Fusion Transformer for Interpretable Multi-horizon Time Series Forecasting)，其中我们提出了时间融合Transformer (Temporal Fusion Transformer, TFT)，一种基于注意力的多时间窗口预测DNN模型。TFT的设计是为了明确地将模型与一般的多水平预测任务相结合，以获得更高的准确性和可解释性，我们在不同的用例中演示了这一点。
我们设计TFT来高效地为每一种输入类型(例如，静态的，已知的，或观察到的输入)构建特征表示，以实现高预测性能。TFT的主要组成部分(如下所示)是:门控机制跳过模型的任何未使用的组件(从数据中学习)，提供自适应的深度和网络复杂性，以适应广泛的数据集。
变量选择网络在每个时间步选择相关的输入变量。虽然传统的DNN可能会过度拟合到不相关的特征，但基于注意力的变量选择可以通过鼓励模型将大部分学习能力锚定在最显著的特征上，从而提高泛化能力。
静态协变量编码器集成静态特征来控制时间动态建模的方式。静态特征对预测有重要的影响，例如，一个商店的位置可能有不同的销售时间动态(例如，农村的商店可能在周末有较高的流量，但市中心的商店可能在工作时间后有每日高峰)。
时间处理从观察到的和已知的时变输入中学习长期和短期时间关系。一个序列到序列的层被用于局部处理，因为它对有序信息处理的归纳偏倚是有益的，而长期依赖是使用一个新的可解释的多头注意力块捕获。这可以减少信息的有效路径长度，也就是说，任何带有相关信息(例如去年的销售)的过去时间步骤都可以直接关注。
预测区间显示分位数预测，以确定每个预测区间上的目标值的范围，这有助于用户理解输出的分布，而不仅仅是预测点。
预测性能
我们将TFT与广泛的多水平预测模型进行了比较，包括使用迭代方法(如DeepAR、DeepSSM、ConvTrans)和直接方法(如LSTM Seq2Seq、MQRNN)的各种深度学习模型，以及传统模型(如ARIMA、ETS和TRMF)。下面是与删节后的模型列表的比较。
如上所示，TFT在各种数据集上优于所有基准测试。这适用于点预测和不确定性估计，与下一个最佳模型相比，TFT的P50和P90损失平均分别降低7%和9%。可解释性的用例
我们用三个用例展示TFT的设计如何允许分析其单个组件以增强解释性。
变量的重要性
我们可以通过观察模型权重来观察不同变量如何影响零售销售。例如，静态变量的最大权重是特定的商店和商品，而未来变量的最大权重是促销期间和国庆节(如下所示)。
持续的时间模式
可视化持久的时间模式可以帮助理解给定数据集中存在的时间依赖关系。我们通过测量过去在不同层次上的预测中固定滞后的特性的贡献来识别类似的持续模式。如下图所示，注意力权重揭示了TFT决定所依据的最重要的过去时间步骤。
识别重大事件
识别突然的变化可能是有用的，因为重大事件的出现可能会导致临时的变化。TFT利用每个点的注意模式与平均模式之间的距离来识别显著偏差。下面的数据表明TFT可以在事件之间改变它的注意——当波动率低时，对过去的输入给予同等的注意，而在高波动率时期，更多地关注急剧的趋势变化。
现实世界的影响最后，TFT被用于帮助零售和物流公司进行需求预测，既提高了预测的准确性，又提供了解释能力。此外，TFT在应对与气候相关的挑战方面也有潜在的应用:例如，通过实时平衡电力供应和需求来减少温室气体排放，以及提高降雨预报结果的准确性和可解释性。
专知便捷查看
便捷下载，请关注
专知公众号（点击上方蓝色专知关注）
商务、投稿、技术等合作：请加微信助手:Quan_ABT, 或发邮件到bd@zhuanzhi.ai专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取7万+AI主题干货知识资料！
