凡科网站建设样品图,翻译软件翻译英语做网站,徐州做网站建设的公司,百度做网站吗系列文章链接 论文一#xff1a;2020 Informer#xff1a;长时序数据预测 论文二#xff1a;2021 Autoformer#xff1a;长序列数据预测 论文三#xff1a;2022 FEDformer#xff1a;长序列数据预测 论文四#xff1a;2022 Non-Stationary Transformers#xff1a;非平…系列文章链接 论文一2020 Informer长时序数据预测 论文二2021 Autoformer长序列数据预测 论文三2022 FEDformer长序列数据预测 论文四2022 Non-Stationary Transformers非平稳性时序预测 论文五2022 Pyraformer基于金字塔图结构的时序预测 论文六2023 Crossformer多变量时序预测 论文七2023 LSFT-Linear质疑transformer能力的线性预测模型
论文地址https://arxiv.org/abs/2201.12740 github地址https://github.com/MAZiqing/FEDformer 参考解读【ICML 2022】时间序列预测——FEDformer (Frequency Enhanced Decomposed Transformer) 快速傅立叶变换快速傅立叶变换
本文是阿里达摩院的一篇文章也是针对长序列预测的文章背景有以下几点
从前人的研究就可以看出大部分研究都在考虑如何降低模型的计算复杂度因为transformer的二次计算会导致过高的计算复杂度之前的研究都没有关注到时序数据的全局信息但其实这是很重要的一点Autoformer开始考虑时间序列分解的季节性趋势分布序列
整体架构感觉和Autoformer有点类似但是细节层面上的创新点主要体现在以下几个方面
频域时间序列表征Compact Representation in Frequency Domain采用傅立叶变换将时序数据转换到频域是比较常见的做法这样能够更好地提取时序数据中的长期规律性特征但是如果保留所有的频率分量会有很多噪声信息因为很多高频分量都是噪声引起的但是也不能仅保留低频分量因为部分高频分量能够体现时序数据的分布趋势对于时间序列 X [ x 1 , . . . , x d ] X[x_1,...,x_d] X[x1,...,xd]采用FFT将序列转换成频域表示 A [ a 1 , . . . , a m ] ∈ R m ∗ d A[a_1,...,a_m]\in \mathbb{R}^{m*d} A[a1,...,am]∈Rm∗d虽然所有的频域表征能够充分表示数据信息但是会存在很多冗余信息所以问题提出了一种随机频域信息选择的方法在每个频域表示的 d d d维数据中随机选择 s s s维作为代表 s d sd sd文中提到一个理论说明验证了这种随机选择后的表征信息量接近于原始表征因此可以通过这种方式来简化计算。 如上图所示先将时序数据 x x x通过多层感知机进行线性表征转换得到 q x ∗ w qx*w qx∗w然后采用傅立叶变换将数据转换成 Q Q Q再进行随机采样得到 Q ~ \widetilde{Q} Q 然后采用一个随机初始化的矩阵 R R R转换得到 Y ^ \hat{Y} Y^在转换回时域前进行padding最后进行逆变换从频域转换回时域 在注意力机制运算中仅计算随机选择后的注意力分布能够简化计算基于小波变换的频域增强模块采用小波变换对序列进行分解得到高频张量表示 U d ( L ) Ud(L) Ud(L)、低频张量 U s ( L ) Us(L) Us(L)和原始低频张量 X ( L 1 ) X(L1) X(L1)然后基于三个分解数据进行重构得到新的处理后的数据细节不展开 本文两个创新点的思路都是进行分解然后进行数据重构。
