摘要：该篇论文主要研究了过程奖励模型（PRM）在数学推理任务中的应用，并提出了一个粗细粒度的过程奖励建模框架来解决数据收集过程中可能存在的问题。具体来说，该框架通过合并相邻步骤并逐渐减小合并粒度的方式来收集更精细的推理步骤，并对每个新合成的步骤进行重新标记。实验结果

该篇论文主要研究了过程奖励模型（PRM）在数学推理任务中的应用，并提出了一个粗细粒度的过程奖励建模框架来解决数据收集过程中可能存在的问题。具体来说，该框架通过合并相邻步骤并逐渐减小合并粒度的方式来收集更精细的推理步骤，并对每个新合成的步骤进行重新标记。实验结果表明，该方法可以显著提高数学推理性能。

本文提出了一种名为CFPRM（Coarse-to-Fine Process Reward Mechanism）的方法来构建过程监督语料库。该方法通过粗细粒度的过程数据收集机制，将推理过程中的多个步骤逐步合并，并重新分配标签以创建新的训练样本集。这些训练样本包含了不同粒度的知识，可以用于训练任意类型的PRM（Process Reward Mechanism）。此外，CFPRM还可以与现有的PRM训练目标结合使用，例如均方误差、二元交叉熵和Q值排名等。

CFPRM相较于现有方法的优点在于其能够克服当前过程监督语料库建设中存在的弱点。它不仅可以应用于各种推理结构，如CoT、MCTS或BoN采样方法，而且还可以与其他损失标准结合使用并取得一致的提升效果。

CFPRM主要解决了当前过程监督语料库建设中存在的一些问题，包括：（1）缺乏足够的多样化训练样本；（2）难以适应不同的推理结构；（3）不能有效地利用推理过程中各个步骤的信息。通过粗细粒度的数据收集和处理机制，CFPRM成功地解决了这些问题，为过程监督任务提供了更加有效的解决方案。

本文主要介绍了针对数学推理测试集的粗粒度数据收集方法（CFPRM）与其他数据收集方法的比较实验结果。具体来说，作者采用了两个广泛使用的数学推理测试集——GSM-Plus和MATH500，并使用了两个最先进的语言模型作为背书模型，即Qwen2.5-7B-Instruct和Qwen2.5-7B-MATH。在评估过程中，作者采用了最佳采样策略（BoN），并设置了不同的采样数量（8、16、32、64）。此外，作者还选择了ShepHerd、RestMCTS*和PQM等其他数据收集方法进行比较，并对它们的性能进行了分析。

首先，作者将CFPRM应用于不同数据收集方法中，并设置C为2来合并相邻的步骤。实验结果显示，在大多数采样策略下，CFPRM都取得了更好的性能表现。随着候选数目的增加，CFPRM的优势更加明显。此外，CFPRM在大多数实验设置中都实现了性能提升。与使用BCE损失函数的ShepHerd相比，CFPRM在GSM-Plus和MATH500上分别提高了1.4%和3.4%的性能。与最近提出的基于Q值排名的方法PQM相比，CFPRM在GSM-Plus上无论使用哪种背书模型都比PQM表现更好。

其次，作者进一步探索了CFPRM中窗口大小的变化对性能的影响。实验结果表明，无论窗口大小如何变化，CFPRM都能够带来性能提升，验证了其粗粒度数据收集机制的有效性。同时，作者发现不同窗口大小带来的性能提升也有所不同。

综上所述，本文通过一系列实验对比，证明了CFPRM作为一种直观的数据收集方法，能够有效缓解传统数据收集方法存在的局限性，并且能够在大多数情况下实现更好的性能表现。

该论文提出了一种新颖的粗粒度到细粒度的数据收集和训练框架，用于处理数学推理任务中的过程数据收集问题。与传统的基于奖励模型的方法不同，该方法考虑了中间步骤的重要性，并通过逐步减少步长的方式实现了精细的训练。实验结果表明，该方法可以显著提高模型性能，具有广泛的应用前景。

该论文的主要贡献在于提出了一个粗粒度到细粒度的数据收集和训练框架，以解决现有方法中存在的问题。具体来说，该方法通过定义一个步长窗口大小来控制初始的步长粒度，然后逐渐减小步长，直到达到单个步骤的粒度。这种方法使得模型能够学习到更准确的过程奖励信号，并避免了冗余的步骤和微小错误的影响。

该论文提出的粗粒度到细粒度的数据收集和训练框架是一个非常有前途的研究方向。未来的工作可以从以下几个方面展开：首先，可以进一步研究如何选择最佳的步长窗口大小以及如何优化训练过程；其次，可以将该方法扩展到其他类型的推理任务中，例如自然语言推理等；最后，可以通过与其他算法的比较来评估该方法的效果并探索其局限性。

来源：宁教授网络空间元宇宙