Mistral AI 推出了其首个时间序列基础模型(TSFM)家族 Timestral。与通常拟合于单一数据序列的 ARIMA 等经典预测工具,或通常为特定数据集从头开始训练的 PatchTST 等深度学习模型不同,Timestral 使用基础模型方法。通过在大型且多样化的语料库上进行预训练,该模型可以学习到可应用于新领域的底层模式,即使在历史数据稀缺的情况下也能以零样本(zero-shot)方式进行应用。

Timestral 家族包含四个模型,参数量从 5M 到 209M 不等。Mistral 声称,其 209M 参数的模型在三个主要的公共基准测试——GIFT-Eval、TIME 和 fev-bench 上实现了最先进的性能,而其参数量仅为某些竞争模型的三分之二。Timestral 的一个关键技术区别是其“解耦预测视界”(Decoupled Horizon Forecasting, DHF)机制。与一些使用连续块掩码(将预测值视为缺失上下文)的其他模型不同,DHF 将完整历史保留在序列中,允许学习到的预测标记在它们之前读取整个历史。这确保了每一个观测值既作为目标又作为上下文,而真实的缺口仍被标记为缺失。

代表 Timestral 基础模型家族的风格化图形。
Mistral AI 的 Timestral 模型旨在学习跨不同时间序列数据类型的底层模式。mistral.ai

Timestral 家族包含四个模型,参数量从 5M 到 209M 不等。

显示时间序列预测 GMean MASE 指标的性能图表。
209M 参数的 Timestral 模型在主要公共基准测试中实现了最先进的性能。mistral.ai

Mistral 声称,其 209M 参数的模型在三个主要的公共基准测试——GIFT-Eval、TIME 和 fev-bench 上实现了最先进的性能,而其参数量仅为某些竞争模型的三分之二。

显示时间序列预测 GMean WQL 指标的性能图表。
Timestral 模型在各种预测基准测试中展示出高效率和高准确性。mistral.ai

Mistral 声称,其 209M 参数的模型在三个主要的公共基准测试——GIFT-Eval、TIME 和 fev-bench 上实现了最先进的性能,而其参数量仅为某些竞争模型的三分之二。

显示时间序列预测 GMean MASE-1 指标的性能图表。
对比性能指标突出了 Timestral 提供准确概率预测的能力。mistral.ai

Mistral 声称,其 209M 参数的模型在三个主要的公共基准测试——GIFT-Eval、TIME 和 fev-bench 上实现了最先进的性能,而其参数量仅为某些竞争模型的三分之二。

显示时间序列预测 GMean CRPS 指标的性能图表。
模型使用 CRPS 等标准指标进行评估,以确保可靠的概率预测。mistral.ai

Mistral 声称,其 209M 参数的模型在三个主要的公共基准测试——GIFT-Eval、TIME 和 fev-bench 上实现了最先进的性能,而其参数量仅为某些竞争模型的三分之二。

除了标准预测,Timestral 还支持多变量目标,以及仅包含过去信息和已知未来协变量。例如,在工业环境中,该模型可以联合预测相关的传感器数据——如泵的振动和温度——同时以已知的未来变量(如生产计划或天气预报)作为条件。为了处理非数值数据,例如机器状态(如“闲置”或“维护”),Timestral 直接接受类别输入。这些模型旨在追求高效,209M 版本能够在没有 GPU 的标准服务器 CPU 上运行。虽然这些模型可用于零样本推理,但 Mistral 也通过 Mistral Forge 提供微调流水线,供需要将模型适配到专有领域数据或特定架构扩展的机构使用。