MAmmoTH：通用数学问题的开源大模型

最近，滑铁卢大学、俄亥俄州立大学、香港科技大学、爱丁堡大学的研究人员联合开源了一个专为「通用数学问题」定制的大模型MAmmoTH和一个指令调优数据集MathInstruct.

MathInstruct由13个具有中间原理的数学数据集编译而成，其中6个为新数据集，混合了思想链（CoT）和思想程序（PoT），并确保覆盖了广泛的数学领域。

CoT和PoT的混合不仅可以释放工具使用的潜力，而且还允许模型针对不同的数学问题进行不同的思维过程。

因此，MAmmoTH系列在所有尺度上的9个数学推理数据集上的表现大大优于现有的开源模型，平均准确率提高了12%至29%。

其中MAmmoTH-7B模型在MATH（竞赛级数据集）上的准确率达到了35%，超过了最好的开源7B模型（WizardMath）25%，MAmmoTH-34B模型在MATH上的准确率达到了46%，甚至超过了GPT-4的CoT结果。

数学推理领域新王：MAmmoTH

在数学推理任务上，开源和闭源的大型语言模型（LLM）之间存在巨大的性能差距，目前基准数据集上的sota仍然是GPT-4，PaLM-2和Claude等闭源模型，其他开源模型如Llama，Falcon和OPT等仍然远远落后。

MAmmoTH和MAmmoTH-Coder在不同的模型尺寸上均优于SoTA模型，并且在领域外（OOD）数据集上的增益要显著优于领域内（IND）数据集，展现出了该模型作为数学通才模型的潜力，甚至在几个数据集上，MAmmoTH-Coder-34B和MAmmoTH-70B甚至超过了闭源模型。