Chronos：亚马逊最新时序大模型

2024年3月份，亚马逊研究团队加入并开发了 Chronos模型。Chronos是一种用于预训练概率时间序列模型的新颖框架，旨在通过利用现有的基于 Transformer 的语言模型来简化时间序列预测任务，并进行最少的修改。 Chronos 背后的核心思想是对时间序列数据进行标记，并使用交叉熵损失函数在这些标记化的序列上训练语言模型。

Chronos是一个对时间序列数据的概率模型进行预训练的框架，它将这些值标记为与基于transformer的模型(如T5)一起使用。模型将序列的值缩放和量化到一个固定的词汇表，并在通过高斯过程创建的公共和合成数据集上进行训练。Chronos模型的参数范围从20M到710M不等，在已知数据集上优于传统和深度学习模型，在新数据集上表现出具有竞争力的zero-shot性能。

Chronos 将 LLMs 用于预测有三个主要步骤。

首先Chronos 在生成上下文token之前，首先会对数据进行缩放和量化。
然后，这些token可用于训练现有的语言模型，该模型将预测下一个上下文token。
最后后对预测结果进行去量化和去比例化处理，以获得实际预测结果。
时间序列的标记化

论文：https://arxiv.org/pdf/2403.07815.pdf
代码：https://github.com/amazon-science/chronos-forecasting