摘要：该文介绍了一种名为RAMQA的统一框架，用于检索增强型多模态问答（MRAQA）。该方法结合了学习排序和生成排列增强排序技术，旨在解决传统基于编码器的语言模型与现代基于解码器的大规模语言模型之间的不兼容性问题。作者首先使用LLaVA作为核心训练一个点对点多模态排

该文介绍了一种名为RAMQA的统一框架，用于检索增强型多模态问答（MRAQA）。该方法结合了学习排序和生成排列增强排序技术，旨在解决传统基于编码器的语言模型与现代基于解码器的大规模语言模型之间的不兼容性问题。作者首先使用LLaVA作为核心训练一个点对点多模态排名器，然后通过指令微调训练一个LLaMA模型，以重新排序前k个文档，并采用创新的自回归多任务学习方法生成重新排名的文档ID和具体答案。实验结果表明，在两个MRAQA基准测试中，RAMQA相对于强基线有显著改进，证明了该方法的有效性。

本文提出的多模态学习框架包括两个阶段：第一阶段是基于单向模型的点式排名模型，第二阶段是用于多任务生成的自动回归模型。该框架通过将文本和图像转换为统一的输入序列，并使用预训练的语言模型来实现多模态信息的有效融合。具体来说，第一阶段的RankLLaVA模型使用LLaVA作为基础模型，将查询和文档转换为相应的嵌入表示，并计算它们之间的相似度得分。第二阶段的RAMLLaMA模型在第一阶段的基础上进行了进一步优化，使用了自动回归模型来同时完成文档排序和问题回答的任务。此外，为了提高模型的鲁棒性和泛化能力，本文还采用了数据统一、零样本图像到文本转换等技术手段。

本文的主要创新在于设计了一种多模态学习框架，能够有效地处理多种不同类型的输入数据，并且能够在不需要额外标注数据的情况下进行多任务学习。相比于传统的单模态学习方法，这种方法可以更好地利用多模态信息，从而提高模型的性能和效率。此外，本文还引入了一些新的技术和算法，如数据统一、零样本图像到文本转换等，这些技术可以帮助我们更好地理解和处理多模态数据。

通过设计一个多模态学习框架并结合一些新的技术和算法，本文成功地解决了这些问题，并取得了一系列优秀的实验结果。这为多模态学习的研究提供了重要的参考和借鉴价值。

本文主要介绍了作者在两个广泛使用的MRAQA数据集上进行了四组实验，并与五个最新的SOTA模型进行了比较。其中，第一组实验是在WebQA数据集上进行的，第二组实验是在MultimodalQA数据集上进行的。实验结果表明，RAMQA在所有指标上都超过了其他SOTA模型，证明了其在多模态问答任务中的优越性能。

具体来说，在WebQA数据集上的实验中，RAMQA在QA score指标上超越了所有基线模型，提高了8.3%。同时，在Fluency和Accuracy指标上也取得了显著的提升。此外，RAMQA在检索性能方面与SOTA模型PERQA相当，但不需要进行图像处理，而是直接从图像中提取排名特征。

在MultimodalQA数据集上的实验中，RAMQA在文本问题上实现了14.0%的准确率提高，而在图像问题上则实现了15.1%的准确率提高。总的来说，RAMQA在该数据集上比第二好的模型PERQA高出了9.9%的准确率。

此外，本文还进行了两组实验来验证RAMQA的一些特性。首先，通过引入排列组合生成式和多任务目标生成，可以进一步提高RAMQA的性能。其次，输入文档数量对RAMQA的性能也有影响，增加到15个文档时可以提高检索性能，但是超过这个数量可能会导致性能下降。

综上所述，RAMQA在多模态问答任务中表现出色，具有很强的泛化能力和鲁棒性。这些实验结果为未来的研究提供了重要的参考和指导。

来源：宁教授网络空间元宇宙