摘要：我们正处于这样一个时代：大型基础模型（大规模通用神经网络以无监督的方式使用大量不同的数据进行预训练）彻底改变计算机视觉、自然语言处理以及最近的时间序列预测等领域。这种模型通过实现零样本预测来重塑时间序列预测领域，允许使用新的、未见过的数据进行预测，无需针对每个
我们正处于这样一个时代：大型基础模型（大规模通用神经网络以无监督的方式使用大量不同的数据进行预训练）彻底改变计算机视觉、自然语言处理以及最近的时间序列预测等领域。这种模型通过实现零样本预测来重塑时间序列预测领域，允许使用新的、未见过的数据进行预测，无需针对每个数据集进行重新训练。这一突破显著缩减了开发时间和成本，简化了为不同任务创建和微调模型的过程。
机器学习方法在时间序列预测中的作用首次在M4和M5预测竞赛中得到了突出体现，基于机器学习的模型在这类竞赛中的表现首次显著优于传统的统计方法。在2020年的M5竞赛中，LightGBM、DeepAR和N-BEATS等先进模型展示了纳入外生变量（比如天气或假期等影响数据但不属于核心时间序列的因素）的效果。这种方法带来了前所未有的预测准确性。
这类竞赛强调了从多个相关序列中交叉学习的重要性，为开发专门为时间序列分析设计的基础模型铺平了道路。它们还激发了人们对用于时间序列预测的机器学习模型的兴趣，因为机器学习模型能够识别复杂的时间模式，并整合外生变量，正日益取代统计方法。（注意：在短期单变量时间序列预测方面，统计方法的表现仍常常胜过机器学习模型。）
2023年10月，TimeGPT-1作为首批基础预测模型之一而发布，该模型旨在对不同时间序列数据集进行泛化，无需针对每个数据集进行特定的训练。与传统的预测方法不同，基础预测模型利用大量的预训练数据进行零样本预测。这一突破使企业得以避免了为特定任务训练和调优模型这个时间长、开销大的过程，为处理动态变化数据的行业提供了适应性很强的解决方案。
随后在2024年2月，Lag-Llama发布。它专注于通过关注滞后依赖关系来进行长期预测，滞后依赖关系是时间序列中过去值和未来结果之间的时间相关性。滞后依赖关系在金融和能源等领域尤为重要；在这些领域，当前趋势常常受到过去长期事件的严重影响。通过有效地捕获这些依赖关系，Lag-Llama提高了在较长时间范围至关重要的情况下的预测准确性。
2024年3月，一个简单但高效的预训练概率时间序列模型框架Chronos问世。Chronos通过缩放和量化来标记时间序列值，即将连续的数值数据转换成离散的类别。这让它得以将基于Transformer的语言模型（通常用于文本生成）运用于时间序列数据。Transformer擅长识别序列中的模式，而通过将时间序列视为标记序列，Chronos使这些模型能够有效地预测未来的值。Chronos基于T5模型系列（参数从2000万个到7.10亿个不等），使用公共和合成数据集进行预训练。针对42个数据集的基准测试表明，Chronos在熟悉的数据集上的性能明显优于其他方法，在新数据上的零样本性能也很出色。这种多功能性使Chronos成为零售、能源和医疗保健等行业一种强大的预测工具，它在这些行业很好地适用于各种数据源。
2024年4月，谷歌推出了TimesFM，这是一个使用1000亿个实际时间点进行预训练的纯解码器基础模型。与使用编码器和解码器的标准Transformer模型不同，TimesFM专注于仅根据过去的输入一步一步地生成预测，因而是时间序列预测的理想选择。像TimesFM这样的基础模型不同于传统的Transformer模型，后者通常需要针对特定任务的训练，并且在不同领域的通用性较差。TimesFM在零售、金融和自然科学等领域能够直接提供准确的预测，因而极具价值，因为它不需要使用新的时间序列数据进行大量的重新训练。
2024年5月，Salesforce推出了开源基础预测模型Moirai，旨在支持概率零样本预测和处理外生特征。Moirai克服了时间序列预测方面的挑战，比如交叉频率学习、适应多个变量以及管理不同的分布属性。它建立在基于掩码编码器的通用时间序列预测Transformer（MOIRAI）架构上，充分利用了大规模开放时间序列存档（LOTSA），包括横跨9个领域的270多亿个观测数据。借助任意变量注意力和灵活参数分布等技术，Moirai可以针对不同的数据集提供易于扩展的零样本预测，无需针对特定任务进行重新训练，这标志着向通用时间序列预测迈出了一大步。
IBM的Tiny Time Mixers（TTM）于2024年6月发布，提供了传统时间序列基础模型的轻量级替代方案。TTM是一种基于MLP的模型，依赖全连接的神经网络，而不是使用Transformer的注意力机制。像自适应补丁和分辨率前缀调优这样的技术创新让TTM可以在处理多变量预测和外生变量的同时，有效地适用于不同的数据集。高效率使其成为计算资源有限的低延迟环境的一种理想选择。
AutoLab的MOMENT也于2024年5月发布，是一种为通用时间序列分析设计的开源基础模型系列。MOMENT克服了时间序列数据预训练方面的三大挑战：缺少大型内聚公共时间序列存储库、时间序列数据的多种特征（比如可变采样率和分辨率）以及缺少用于评估模型的既定基准。为了解决这些问题，AutoLab引入了时间序列堆（Time Series Pile），这是跨多个领域的公共时间序列数据集合，并开发了一套基准来评估MOMENT处理短期和长期预测、分类、异常检测和填补等任务的表现。借助最小化微调，MOMENT在处理这些任务时提供了令人印象深刻的零样本学习性能，提供了易于扩展的通用时间序列模型。
总之，这些模型代表了时间序列预测的新前沿。它们为各行各业提供了生成更准确的预测、识别复杂模式以及改进决策的能力，同时减少了对大量的特定领域训练的需求。
展望未来，时间序列模型与语言模型相结合正带来令人兴奋的创新。像Chronos、Moirai和TimesFM这样的模型正将时间序列预测推向新的高峰，但下一个前沿是将传统传感器数据与非结构化文本相结合，以获得更好的结果。
以汽车行业为例，借助NLP将传感器数据与技术人员报告和服务记录相结合，以全面深入地了解潜在的维护问题。在医疗保健领域，病人的实时监测与医生的笔记相结合，可以预测早期诊断的健康结果。零售和拼车公司则利用社交媒体和活动数据以及时间序列预测，更准确地预测重大活动期间的拼车需求或销售高峰。
通过结合这两种强大的数据类型，物联网、医疗保健和物流等行业正在更深入、更实时地了解当前发生的情况和即将发生的趋势，从而做出更明智的决策和更准确的预测。
来源：51CTO一点号