A Time Series is Worth 64 Words: Long-term Forecasting with Transformers：PatchTST以子序列分块革新时序预测
2022年11月提交。提出PatchTST模型，将多元时间序列分割为子序列级补丁作为Transformer输入，并采用通道独立设计（每个通道共享权重）。在长期预测任务上显著优于此前SOTA Transformer模型，同时支持自监督预训练，迁移学习也达到SOTA。
发展脉络
- 首次出现A Time Series is Worth 64 Words: Long-term Forecasting with Transformers：PatchTST以子序列分块革新时序预测arXiv cs.AI
- 当前判断时序预测是金融、能源、气象、供应链等领域的核心需求。PatchTST的高效和准确特性可直接应用于量化交易中的价格预测、电网负荷预测、天气预警等场景。其自监督预训练能力使得在标注数据稀缺的工业场景中也能获得高性能模型，降低数据标注成本。Agent Pulse · 分析
PatchTST通过将时间序列分割成补丁（patch）作为token，解决了Transformer在时序预测中计算效率低和局部语义丢失的问题。通道独立设计进一步提升了泛化能力。该工作改变了时序预测领域对Transformer的使用范式，使得长序列预测更准确、高效，并首次在时序领域展示了自监督预训练的强大迁移能力。
PatchTST的核心创新在于将原始时间序列分割成不重叠或部分重叠的补丁，每个补丁作为Transformer的一个输入token。补丁长度和步长可调，从而在保留局部语义的同时，将注意力计算复杂度从O(L^2)降至O((L/P)^2)，其中P为补丁长度。通道独立意味着每个变量单独建模，但共享嵌入和Transformer权重，这避免了跨通道干扰并减少了参数量。实验在多个长期预测基准（如ETT、Electricity、Weather）上，PatchTST相比FEDformer、Autoformer等SOTA模型，MSE降低约20-50%。自监督预训练采用掩码补丁重建任务，在下游微调时甚至超越全监督训练。边界在于补丁大小和步长需要针对不同数据集调优，且通道独立可能丢失变量间相关性。
时序预测是金融、能源、气象、供应链等领域的核心需求。PatchTST的高效和准确特性可直接应用于量化交易中的价格预测、电网负荷预测、天气预警等场景。其自监督预训练能力使得在标注数据稀缺的工业场景中也能获得高性能模型，降低数据标注成本。
建议量化投资团队和能源管理平台用自身时序数据评估PatchTST与现有LSTM或Transformer方案，分别比较预测误差、训练成本和跨周期稳定性，再决定是否用于电力负荷、需求或价格预测。
未来需关注PatchTST在超长序列（如年尺度）上的表现，以及补丁大小自动搜索方法。其自监督预训练能否推广到多模态时序（如文本+数值）值得探索。部署时需注意补丁划分带来的延迟，但整体计算量远低于传统Transformer，适合边缘设备。