摘要：这篇论文介绍了一个名为MMRel的关系理解基准测试集，旨在解决多模态大型语言模型（MLLM）在处理对象间关系时面临的挑战。该测试集包含超过22K个问题答案对，覆盖三个不同的领域和三种关系类别，并提供手动验证的高质量标签以确保标注准确性。此外，还包括对抗性案例，
这篇论文介绍了一个名为MMRel的关系理解基准测试集，旨在解决多模态大型语言模型（MLLM）在处理对象间关系时面临的挑战。该测试集包含超过22K个问题答案对，覆盖三个不同的领域和三种关系类别，并提供手动验证的高质量标签以确保标注准确性。此外，还包括对抗性案例，这些案例具有高度不寻常的关系，为评估关系幻觉提供了挑战性的环境。实验结果表明，MMRel可以有效地评估和增强MLLM的关系理解能力。该测试集已经公开发布供研究人员使用。
论文方法
该研究旨在开发一个大规模、高质量的数据集，用于评估多模态关系理解模型（MMRel）。研究团队采用了以下步骤：
使用现有的数据集，如Visual Genome（VG）和Specifying Diversity of Objects and Relations (SPEC)，并根据需要对其进行修改。设计了一种半自动数据收集管道（Semi-automatic Data Collection pipeline），包括预处理、重新标注现有图像以及生成大量高质量的关系数据。将数据分为三个类别：空间关系、动作关系和比较关系，并为每个类别提供不同的数据来源。对于动作关系，使用GPT-4V来生成关系注释，然后由人类专家验证。对于比较关系，手动重新标注VG中的图像，并生成准确的注释。通过与Open Ended Questions结合，为关系理解模型提供了潜在的评价方式。最后，设计了一个具有挑战性的对抗子集，以评估关系理解模型的能力。该研究的主要创新在于：
开发了大规模、高质量的关系数据集，以便更好地评估关系理解模型。引入了半自动数据收集管道，提高了数据的质量和效率。提供了多种来源的数据，以更全面地测试关系理解模型。利用了GPT-4V来生成关系注释，同时确保其准确性。本研究主要解决了以下问题：
关系理解模型的评估：传统的评估基准存在质量不高、多样性不足等问题，无法充分反映模型的实际能力。数据集的质量和规模：现有数据集中存在的复杂场景、难以解析的对象等限制了关系理解模型的发展。数据来源的单一性：缺乏来自不同领域的数据，导致关系理解模型在跨领域应用时表现不佳。通过开发MMRel数据集，本研究为解决上述问题提供了有效的解决方案，有助于推动关系理解模型的研究和发展。
本文主要介绍了在MM-Rel基准数据集上进行的多组实验，旨在评估不同类型的Multi-Modal Large Language Models（MLLMs）和幻想消解技术对关系理解能力的影响，并验证使用MM-Rel对MLLM进行微调的效果。
首先，在实验设置部分，作者选取了九种不同的MLLM模型作为代表，包括四种开源模型和三种幻想消解模型，以及最新的专有GPT-4o模型。对于评价指标，作者采用了与POPE相同的准确率、精确度、召回率和F1分数等指标来衡量Yes/No问题的答案质量。而对于生成式开放性问题，则采用了基于GPT-4o的评分方法。
接下来，作者进行了两组实验。第一组实验是针对MM-Rel中的Yes/No问题答案进行的，结果表明所有九种MLLM模型在处理关系理解时都存在各种问题，例如对空间关系的理解不如动作和比较关系好，而且对于真实图像比合成图像表现更好。此外，虽然幻想消解技术仍然存在问题，但这些挑战主要源于关系理解而不是对象识别。
第二组实验是在开放式的生成性问题上进行的，目的是更好地模拟自然对话或对话场景。作者将GPT-4o用于评分，结果显示MLLM在处理空间关系方面更具挑战性，而动作关系则更难于处理。此外，作者还进行了细调实验，将MM-Rel的数据与来自LLA VA-1.5的指令数据相结合，以提高MLLM的关系理解能力。结果表明，微调显著提高了MLLM的关系理解能力，并且有效地抑制了幻觉效应。
最后，作者通过在MME基准数据集上的实验进一步验证了MM-Rel的可扩展性和适用性，证明了MM-Rel在多个视觉语言任务中具有广泛的应用前景。
本文提出了MMRel（Multi-Modal Relation Understanding）作为评估多模态大型语言模型（MLLMs）能力的新基准，并详细介绍了其设计原则和使用方法。该基准旨在解决当前MLLMs在理解物体间关系方面存在的困难，并通过提供具有挑战性的逆向对抗数据集和针对关系理解的评测指标来帮助研究人员更好地了解MLLMs的能力和局限性。此外，文章还介绍了一些现有的评估MLLMs的方法和技术，为读者提供了更全面的认识。
本文提出了一种新的评估MLLMs的方法——MMRel，它包括一个清晰的分类体系和定义了关系幻觉的概念，能够有效地测量MLLMs在理解对象间关系方面的表现。此外，文章还提出了一些改进算法和技巧，如Coig-CQIA和Hallucination-Oriented Fine-Tuning等，以提高MLLMs的表现和降低关系幻觉的发生率。
随着人工智能技术的发展，多模态学习将成为一个重要的研究方向。因此，本文提出的MMRel将有助于推动这一领域的发展，并为未来的相关研究提供参考。同时，作者也指出，在实际应用中，如何有效利用多模态信息仍然是一个需要进一步探讨的问题。因此，未来的研究可以继续探索如何更好地利用多模态信息，以及如何在不同的应用场景下实现更好的性能。
来源：宁教授网络空间元宇宙
