Py学习  »  机器学习算法

QuLTSF:基于量子机器学习的长期时间序列预测的方法

灵度智能 • 7 月前 • 179 次点击  

QuLTSF: Long-Term Time Series Forecasting with Quantum Machine Learning


量子学习和机器学习大家都听说过,但是量子机器学习(QML) 大家听说过吗?


量子机器学习(QML) 是将量子计算和机器学习相结合的新兴领域,它利用量子计算的特性来解决传统计算机难以处理的复杂问题。量子计算基于量子力学的原理,如叠加和纠缠,能以指数级速度处理数据,从而在某些任务上比经典计算更具优势。这使得QML有望在金融、制药、优化问题等领域带来革命性进展。


本文分享量子机器学习在长期时间序列预测方向的应用。



论文地址:https://arxiv.org/pdf/2412.13769


扫描文末二维码加入星球获取论文、源码


摘要


长期时间序列预测(LTSF)是基于过去值预测未来值的重要任务,应用广泛,如天气、股市和疾病预测。LTSF算法已从统计模型转向深度学习模型,尤其是变压器模型,但研究表明简单线性模型在某些情况下表现更好。量子机器学习(QML)正在发展,本文提出QuLTSF,一种简单的混合QML模型用于多变量LTSF。通过对常用天气数据集的实验,QuLTSF在均方误差和平均绝对误差方面优于最先进的经典线性模型。


简介


时间序列预测(TSF)是利用历史数据预测未来值的重要过程,广泛应用于气象、金融和电力管理等领域。TSF的两种主要方法:统计模型(如ARIMA)和深度学习模型(如RNN),后者在大规模数据集上通常表现更好。超过48个未来点的预测被视为长期时间序列预测(LTSF)。Transformer及其注意力机制在序列数据建模中受到关注,尤其是在LTSF中的应用日益增多。尽管Transformer模型设计复杂,研究表明简单的自回归模型加线性全连接层可以超越最先进的Transformer模型。


量子机器学习(QML)结合量子计算与机器学习,提升分类、回归和生成建模等任务,适用于当前的噪声中间规模量子计算机(NISQ)。混合模型(经典神经网络与变分量子电路VQC)在机器学习任务中日益流行。现有QML模型主要集中在递归神经网络(RNN)上,递归量子电路在推理中展现出计算和记忆优势,但大规模学习仍具挑战。


本文提出QuLTSF模型,结合经典线性神经网络与VQC,首次将QML应用于长期时间序列预测(LTSF)。实验结果表明,QuLTSF在天气数据集上优于最新的线性模型。


背景


量子计算


量子信息和计算的基本单位是量子比特(qubit),其状态可以是0、1或两者的叠加。量子比特的状态用Dirac的ket符号表示,满足单位范数条件:|α₀|² + |α₁|² = 1。测量会使量子比特的状态坍缩为经典比特,概率为|αₓ|²。量子比特可以通过可逆的单位操作(量子门)进行状态转换。Shor算法和Grover算法为量子算法研究带来了理论上的量子加速。实现这些算法需要大量的量子比特和良好的错误纠正,但当前的量子设备(NISQ设备)尚未达到此要求。量子机器学习(QML)是一个新兴领域,旨在充分利用NISQ设备。


量子机器学习


QML常用的两步方法:变分量子电路(VQC)和经典优化器。VQC由参数化量子门和固定纠缠门组成。经典数据通过数据嵌入过程编码为量子态。VQC应用参数化单位操作,输出通过测量量子比特获得。VQC参数通过经典优化工具优化,以最小化预定义损失函数。VQC常与经典神经网络结合,形成混合QML模型。一些软件包提供高效计算混合QML模型梯度的工具。


预备知识


问题定义


多变量时间序列数据包含M个变量,使用大小为L的回溯窗口和大小为T的预测窗口进行预测。预测超过48个时间步被视为长期时间序列预测(LTSF)。在通道独立条件下,单变量时间序列数据分别输入模型,预测未来T个时间步。使用均方误差(MSE)损失函数来衡量真实值与预测值之间的差异。


相关工作

LTSF(长期时间序列预测)研究领域广泛,近年来基于transformer的模型增多。Wen et al.(2023)对transformer基础的LTSF模型进行了全面综述。Zeng et al.(2023)发现简单线性模型在性能上优于一些先进的transformer模型。Zeng et al.提出了三种模型:Linear(单层线性神经网络)、NLinear(输入最后值减去后再加回输出)和DLinear(将时间序列分解为趋势和季节性成分)。DLinear使用两个线性模型分别训练趋势和季节性,最终输出相加得到预测结果。我们将简单的Linear模型改编为QML模型。

QuLTSF



QuLTSF是一个混合量子机器学习模型,包含输入经典层、隐藏量子层和输出经典层。输入经典层将L个特征映射为2N长度的向量,输出为y₁。


隐藏量子层使用幅度嵌入将y₁编码为量子态|φ_in⟩,并采用硬件高效的变分量子电路(VQC)。VQC由K层组成,每层包含可训练的单量子比特门和固定的CNOT门,输出为|ψ_out⟩。



通过计算每个量子比特的Pauli-Z可观察量,得到隐藏量子层的输出y₂。输出经典层将y₂映射为预测的T长度向量,输出为X_LL^{m+L+T}。所有层的参数可以通过PennyLane等软件包联合训练。



实验


数据


QuLTSF模型在Weather数据集上评估性能。数据集由Max-Planck生物地球化学研究所记录,包含21个气象和环境特征。数据记录于2020年,时间粒度为10分钟,共52,696个时间戳。数据划分:70%用于训练,20%用于测试,10%用于验证。


基线


选择三种线性模型(Linear, NLinear, DLinear)作为主要基线。还考虑了几种基于变换器的LTSF模型(FEDformer, Autoformer, Informer)作为其他基线。变换器模型已被证明优于传统统计模型(如ARIMA)和其他深度学习模型(如LSTM, DeepAR),因此不包括这些模型。


评估指标


在当前研究中,使用均方误差(MSE)和平均绝对误差(MAE)作为评估指标。



超参数


量子比特数 N = 10,隐藏量子层的 VQC 层数 K = 3。使用 Adam 优化器(Kingma 和 Ba, 2017)训练模型,目标是最小化训练集上的均方误差(MSE)。


结果


选择固定序列长度L=336,预测长度T为{96,192,336,720},比较QuLTSF与6个基线模型的MSE和MAE,QuLTSF在所有情况下均优于基线模型。为验证QuLTSF与基线线性模型的表现,进行不同序列长度L的实验,固定预测长度T=96和T=720,结果显示QuLTSF始终优于基线线性模型。





讨论


QuLTSF使用通用的硬件高效变换,选择合适的变换是QML中的研究方向(Du et al., 2022)。针对不同数据集寻找更好的QML LTSF模型变换仍是一个开放问题,参数化的两量子比特旋转门是潜在方法(You et al., 2021)。高效的数据预处理(如反向实例归一化)可减轻训练与测试数据之间的分布偏移,已在PatchTST(Nie et al., 2023)和MTST(Zhang et al., 2024)中应用。PatchTST和MTST在性能上优于线性模型(Zeng et al., 2023),但QuLTSF在有限设置下表现相当或更优。在设置(L = 336, T = 720)下,PatchTST、MTST和QuLTSF的MSE分别为0.320、0.319和0.315;在(L = 336, T = 336)下,MSE分别为0.249、0.246和0.248。效率高的数据预处理可能提升QML模型的结果。


总结


本文提出了QuLTSF,一种简单的混合量子机器学习模型用于长期时间序列预测(LTSF)。QuLTSF结合了变分量子电路(VQC)和经典线性神经网络,形成高效的LTSF模型。简单线性模型优于复杂的基于变换器的LTSF模型,且引入隐藏量子层进一步提升了性能。研究为未来LTSF研究中的混合量子机器学习模型应用开辟了新方向。



▌关于我们

我们致力于提供优质的AI服务,涵盖人工智能、数据分析、深度学习、机器学习、计算机视觉、自然语言处理、语音处理等领域。如有相关需求,请私信与我们联系。

▌商务合作

请加微信“LingDuTech163”,或公众号后台私信“联系方式”。


关注【灵度智能】公众号,获取更多AI资讯。


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/177428
 
179 次点击