摘要：这项由韩国汉阳大学的金敏洙（Minsoo Kim）和崔政旭（Jungwook Choi）领导的研究团队，联合成均馆大学的沈圭弘（Kyuhong Shim）以及高通韩国AI研究院的张心勇（Simyung Chang）共同完成，发表于2025年6月的arXiv预印
这项由韩国汉阳大学的金敏洙（Minsoo Kim）和崔政旭（Jungwook Choi）领导的研究团队，联合成均馆大学的沈圭弘（Kyuhong Shim）以及高通韩国AI研究院的张心勇（Simyung Chang）共同完成，发表于2025年6月的arXiv预印本平台（论文编号：arXiv:2506.15745v1）。有兴趣深入了解技术细节的读者可以通过该编号在arXiv.org上访问完整论文。
当我们用手机观看一部两小时的电影时，很少会想到背后的技术挑战有多么复杂。现在的人工智能已经能够理解和分析视频内容，但这些强大的AI系统通常需要巨大的内存空间——就像一个需要超大仓库才能运转的工厂。问题是，我们日常使用的手机、AR眼镜或者家用机器人的内存空间都很有限，就好比只有一个小储藏室，根本装不下那么多东西。
研究团队面临的核心挑战可以这样理解：当AI系统处理长视频时，它需要记住之前看到的所有内容，这些"记忆"会越积越多，最终超出设备的存储能力。比如，处理一个15分钟的视频就需要大约100GB的存储空间，这远远超过了大多数移动设备的承受能力。更麻烦的是，传统的解决方案都有各自的局限性：要么需要提前知道用户会问什么问题，要么必须先把整个视频处理完毕，要么就是直接丢弃一些重要信息。
这就像你在整理一个不断增长的照片收藏，既要保留最重要的记忆，又不能让储存空间爆满，还要能随时回答朋友关于任何一张照片的提问。传统方法要么是随机丢弃照片，要么是需要朋友提前告诉你他们想看什么类型的照片，这显然都不够灵活。
研究团队开发的InfiniPot-V框架就像一个聪明的照片管理助手，它能在不知道用户会问什么问题的情况下，智能地决定保留哪些"记忆"，丢弃哪些冗余信息。这个系统的巧妙之处在于，它采用了两种互补的策略来压缩存储空间。
一、时间轴冗余消除：如何识别重复的画面内容
当我们观看视频时，经常会遇到这样的情况：画面中的背景几乎没有变化，只有前景中的人物在移动。比如在一个固定机位拍摄的对话场景中，房间的墙壁、桌子、窗户这些背景元素在很长时间内都保持不变。InfiniPot-V的第一个聪明之处就是能够识别这种时间上的重复性。
这个过程就像一个细心的摄影师在整理连拍照片。当他发现连续几张照片中的某个区域（比如蓝天、静止的建筑物）完全相同时，就可以只保留一张代表性的照片，而删除其他重复的部分。研究团队将这种技术称为"时间轴冗余"（TaR）消除。
系统的工作原理是将视频帧分成许多小块，然后逐一比较这些小块在时间上的相似性。当发现某个小块在连续的多个帧中几乎没有变化时，系统就会标记这些为"冗余信息"并考虑删除。但这里有个关键的设计：系统总是完整保留最近的几帧内容，确保快速变化或新出现的内容不会被误删。
这种方法的效果相当显著。在实际测试中，系统能够准确识别出视频中的静态区域，比如不变的背景、静止的物体等，同时完美保留那些包含重要动作或变化的区域。这就像一个智能的视频编辑器，能够自动识别哪些画面是"精彩瞬间"，哪些是"重复内容"。
二、语义重要性保留：找出真正有意义的信息
除了消除时间上的冗余，InfiniPot-V还具备另一项重要能力：识别哪些内容在语义上更加重要。这就像一个经验丰富的新闻编辑，能够从大量素材中挑选出最具新闻价值的片段。
系统使用一种被称为"值范数"（VaN）的技术来评估每个视频片段的重要性。简单来说，它通过分析AI系统内部的数据表示来判断哪些信息包含更丰富的语义内容。研究团队发现，那些具有较高值范数的视频片段通常包含更多有意义的信息，比如人物表情的变化、重要物体的出现、场景的转换等。
为了验证这种判断的准确性，研究团队进行了一个有趣的实验。他们让系统分析不同重要性级别的视频片段，然后计算这些片段的信息熵——这是衡量信息丰富程度的一个指标。结果显示，系统认为重要的片段确实包含更多的信息量，证明了这种判断方法的有效性。
更有趣的是，系统还会根据不同的处理层级采用不同的策略。在处理视频的早期阶段，系统会使用较大的分析窗口，因为此时的信息往往具有较强的空间连续性；而在后期阶段，系统会使用更精细的分析方法，因为此时的信息已经更加抽象和分散。这就像一个摄影师在不同的拍摄阶段调整镜头的焦距和视角，以捕捉最重要的细节。
三、智能压缩策略：在质量和效率之间找到平衡
InfiniPot-V最令人印象深刻的特点是它的适应性。当系统检测到存储空间即将用完时，它会自动启动压缩程序，就像一个智能的衣橱管理器，当空间不够时会自动整理和压缩内容。
这个压缩过程非常巧妙。系统首先会保留最近的几帧内容，确保最新的信息不会丢失。然后，它会根据时间冗余性选择一部分需要保留的历史内容，最后通过语义重要性分析来填充剩余的存储空间。这种两阶段的选择策略确保了既不会丢失重要的历史信息，也不会错过关键的语义内容。
整个压缩过程的开销非常小，只增加了0.5%的处理时间。这意味着用户几乎感觉不到任何延迟，系统可以实时进行视频处理和压缩。就像一个高效的助理在后台默默工作，用户专注于观看视频，而不需要担心技术细节。
研究团队还特别设计了一种动态调整机制。系统会根据当前视频内容的特点来调整压缩参数。比如，对于动作较多的视频片段，系统会更加谨慎地进行压缩；而对于相对静态的内容，系统会进行更积极的压缩。这种自适应能力使得系统能够在各种不同类型的视频内容上都表现出色。
四、实验验证：在真实场景中的表现如何
为了验证InfiniPot-V的实际效果，研究团队进行了大规模的实验测试。他们使用了四种不同的AI模型和六个不同的视频理解任务，涵盖了从3分钟到2小时的各种长度的视频内容。
实验结果令人印象深刻。在处理50K个数据单元的视频内容时，InfiniPot-V只使用了6K个单元的存储空间，相当于将存储需求压缩到了原来的12%。更重要的是，这种大幅度的压缩并没有显著影响系统的理解准确性。在某些测试中，压缩后的系统甚至比使用完整存储空间的系统表现更好。
在处理效率方面，系统能够保持每秒14帧的实时处理速度，完全满足日常应用的需求。而且，系统的峰值内存使用量减少了高达94%，这意味着原本需要高端服务器才能处理的任务，现在普通的移动设备也能胜任。
研究团队还测试了系统在多轮对话场景中的表现。传统的方法通常需要根据每个新问题重新调整存储策略，这不仅效率低下，还可能导致信息丢失。而InfiniPot-V由于采用了与问题无关的压缩策略，能够在整个对话过程中保持一致的高性能表现。
特别值得一提的是，系统在处理流媒体视频时的表现。研究团队使用了两个专门的流媒体视频数据集进行测试，模拟了真实的实时视频处理场景。结果显示，InfiniPot-V不仅能够准确回答关于视频内容的问题，还能够处理那些需要综合分析整个视频历史的复杂查询。
五、技术突破：解决流媒体视频理解的核心难题
InfiniPot-V的出现解决了流媒体视频理解领域的一个根本性问题。传统的视频理解系统通常假设能够事先获得完整的视频内容和用户问题，然后针对性地进行优化。但在真实的应用场景中，视频内容是实时到达的，用户的问题也是随机出现的。
这种差异就像预先准备好的演讲和即兴发言的区别。预先准备的演讲可以经过反复修改和优化，确保每个细节都恰到好处；而即兴发言则需要演讲者具备强大的即时反应能力和知识储备。InfiniPot-V正是为后一种场景而设计的。
系统的另一个重要创新是它的训练免费特性。许多现有的视频理解系统需要针对特定任务进行专门训练，这不仅耗时耗力，还限制了系统的通用性。InfiniPot-V则可以直接应用于任何预训练的视频理解模型，无需额外的训练过程。这就像一个通用的效率提升工具，可以让任何现有的系统立即获得更好的性能。
研究团队还特别关注了系统的鲁棒性。他们测试了各种极端情况，比如突然的场景切换、大量快速运动、复杂的光照变化等。结果显示，InfiniPot-V在这些具有挑战性的场景中仍然能够保持稳定的性能。这种鲁棒性对于实际应用来说至关重要，因为真实世界的视频内容往往比实验室环境复杂得多。
六、实际应用：从实验室到日常生活
InfiniPot-V的潜在应用范围非常广泛。最直接的应用就是移动设备上的智能视频分析。用户可以用手机拍摄长时间的视频，然后实时询问关于视频内容的问题，比如"刚才那个红色的车是什么时候出现的？"或者"这段时间里一共有几个人经过？"
在增强现实和虚拟现实领域，这项技术同样具有重要价值。AR眼镜可以连续分析用户看到的环境，并在需要时提供相关信息。比如，当用户在博物馆参观时，系统可以记住用户看过的所有展品，并在用户询问时提供详细的介绍或者相关的历史背景。
对于安防监控系统来说，InfiniPot-V能够大大提高效率。传统的监控系统通常需要人工查看大量的录像，而这项技术可以让系统自动理解监控内容，并能够回答诸如"昨天下午有没有可疑人员在大门附近逗留？"这样的具体问题。
在教育领域，这项技术可以用于创建智能的视频学习助手。学生可以观看教学视频，然后随时询问关于任何知识点的问题。系统不仅能够定位到相关的视频片段，还能够提供额外的解释和相关信息。
对于内容创作者来说，InfiniPot-V可以大大简化视频编辑工作。创作者可以拍摄大量的原始素材，然后通过自然语言描述来查找特定的片段，比如"找出所有包含笑脸的镜头"或者"显示背景音乐最激昂的部分"。
七、技术细节：深入理解系统的工作机制
InfiniPot-V的核心算法基于对视频内容的多层次分析。系统首先将每一帧视频分解成许多小的图像块，然后对这些图像块进行特征提取。这个过程就像把一幅复杂的拼图分解成许多小片，然后分析每个小片的特征和它们之间的关系。
在时间维度上，系统会计算相邻帧之间对应图像块的相似性。这种计算使用了余弦相似度这一数学工具，能够准确量化两个图像块的相似程度。当相似度超过某个阈值时，系统就认为这些图像块包含冗余信息。
但系统不会简单地删除所有冗余信息。相反，它采用了一种渐进式的保留策略。系统总是完整保留最近的几帧内容，因为这些内容最可能包含重要的新信息。对于较早的帧，系统会根据冗余度进行选择性保留。
在语义重要性评估方面，系统使用了深度学习模型的内部表示。具体来说，它分析每个图像块在神经网络中的"值向量"，这些向量包含了丰富的语义信息。通过计算这些向量的范数（可以理解为"强度"），系统能够判断哪些内容在语义上更加重要。
系统还采用了一种自适应的处理策略。在神经网络的不同层级，图像特征具有不同的性质。在较低的层级，特征通常具有较强的空间局部性；而在较高的层级，特征则更加抽象和全局化。InfiniPot-V会根据每个层级的特点调整处理参数，确保在不同层级都能获得最佳的压缩效果。
八、性能优化：如何在有限资源下实现最佳效果
研究团队在性能优化方面下了很大功夫。他们发现，压缩算法的参数设置对最终效果有显著影响。经过大量实验，他们确定了一组最优的参数配置：时间冗余消除和语义重要性保留的资源分配比例为0.5:0.5，最近帧保留数量为总帧数的12.5%，压缩比例控制在75%以上。
这些参数的选择并非任意的，而是基于对大量视频内容的统计分析。研究团队发现，大多数视频内容都存在一定程度的时间冗余，但这种冗余的分布并不均匀。通过精心调整参数，系统能够在保持高准确性的同时实现最大程度的压缩。
在计算效率方面，系统采用了多项优化技术。首先是增量式处理，系统不需要每次都重新分析整个视频历史，而是只处理新增的内容。其次是并行计算，时间冗余分析和语义重要性评估可以同时进行，大大提高了处理速度。
系统还特别优化了内存访问模式。传统的方法往往需要频繁地读写大量数据，而InfiniPot-V通过精心设计的数据结构和算法，将内存访问次数降到最低。这种优化在移动设备上特别重要，因为内存带宽往往是性能瓶颈。
九、对比分析：与现有技术的比较
为了全面评估InfiniPot-V的性能，研究团队将其与多种现有技术进行了详细比较。这些比较包括三个主要类别：帧采样方法、输入视觉压缩方法和KV缓存压缩方法。
帧采样方法是最简单直接的压缩技术，通过减少处理的视频帧数来降低存储需求。但这种方法的问题是可能会丢失重要的时间信息。在测试中，虽然帧采样能够显著减少存储需求，但准确性也相应下降。特别是在需要精确时间信息的任务中，帧采样的表现明显不如InfiniPot-V。
输入视觉压缩方法尝试在视频进入AI系统之前就进行压缩。这类方法包括空间标记压缩和时间标记合并等技术。虽然这些方法在某些情况下表现不错，但它们通常需要预先知道用户的查询内容，在流媒体场景中适用性有限。而且，这些方法的压缩是不可逆的，一旦信息被丢失就无法恢复。
KV缓存压缩方法是与InfiniPot-V最相似的技术路线。其中最具代表性的是SnapKV方法，它通过分析查询相关性来选择保留的内容。但SnapKV的致命弱点是必须知道用户的具体问题才能工作。在研究团队的测试中，当SnapKV在不知道问题的情况下工作时，性能下降非常明显。
相比之下，InfiniPot-V在所有测试场景中都表现出色。特别是在多轮对话测试中，InfiniPot-V能够一致地保持高准确性，而其他方法的性能则随着对话轮次的增加而逐渐下降。
十、技术挑战与解决方案
开发InfiniPot-V过程中遇到的最大挑战是如何在不知道用户问题的情况下判断信息的重要性。这就像要求一个图书管理员在不知道读者需求的情况下整理图书馆，既要保证空间利用率，又要确保读者能够找到需要的资料。
研究团队通过深入分析AI模型的内部工作机制找到了解决方案。他们发现，即使不知道具体的问题，也可以通过分析模型的内部表示来判断信息的潜在价值。这种方法的关键在于利用了深度学习模型的一个重要特性：模型会自动学习将重要信息编码到更强的信号中。
另一个重要挑战是如何处理位置编码问题。在长时间的流媒体处理中，视频长度可能会超过AI模型的最大处理范围。研究团队通过动态重新分配位置索引的方法解决了这个问题，确保系统能够处理任意长度的视频流。
实时性要求也是一个重大挑战。压缩算法必须足够快，不能影响视频的正常播放。研究团队通过算法优化和并行处理技术，将压缩开销控制在极低的水平。在测试中，即使是在处理高分辨率视频时，系统也能保持流畅的实时性能。
十一、未来发展方向与局限性
虽然InfiniPot-V在当前的测试中表现出色，但研究团队也诚实地指出了系统的一些局限性。首先，当前的系统主要针对视觉信息进行优化，对于包含复杂音频信息的视频可能无法发挥最佳效果。现实中的多媒体内容往往包含视觉、听觉、文本等多种信息类型，未来的系统需要能够统一处理这些不同类型的信息。
其次，当前的压缩策略相对固定，无法根据不同类型的视频内容进行动态调整。比如，对于动作电影和纪录片，最优的压缩策略可能完全不同。研究团队正在探索更加智能的自适应压缩算法，能够根据内容特点自动调整策略。
在实际部署方面，系统的参数调优仍然需要一定的专业知识。虽然研究团队提供了一组通用的最优参数，但在特定应用场景中，可能需要进一步的微调才能获得最佳效果。
对于未来的发展方向，研究团队提出了几个有趣的想法。首先是开发端到端的学习方法，让AI系统能够专门为流媒体压缩场景进行优化训练。其次是探索更加激进的压缩比例，在保持可接受准确性的前提下进一步减少存储需求。
另一个重要的发展方向是多模态融合。未来的系统应该能够同时处理视频、音频、文本等多种信息类型，并在压缩时考虑这些不同模态之间的相关性。这将使得系统能够更好地理解复杂的真实世界场景。
说到底，InfiniPot-V代表了人工智能技术向实用化迈进的重要一步。在过去，强大的AI能力往往只能在配备大量计算资源的数据中心中实现，普通用户很难享受到这些技术带来的便利。而InfiniPot-V的出现改变了这种状况，它让普通的移动设备也能具备强大的视频理解能力。
这项技术的意义不仅在于解决了一个具体的技术问题，更在于它展示了一种新的思路：通过巧妙的算法设计，可以在有限的资源条件下实现以往只有高端设备才能提供的功能。这种"用智慧弥补硬件不足"的理念，对于推动AI技术的普及具有重要意义。
对于普通用户来说，这项技术的实用化将带来显著的便利。无论是用手机记录生活片段，还是通过AR设备获取实时信息，都将变得更加智能和高效。更重要的是，这种技术进步是渐进式的，用户不需要学习复杂的操作，就能享受到技术升级带来的好处。
从技术发展的角度来看，InfiniPot-V也为其他相关技术领域提供了有价值的借鉴。其核心思想——在资源受限的条件下智能地选择和保留信息——在许多其他应用场景中都有潜在价值，比如自然语言处理、推荐系统、智能交通等。
归根结底，这项研究体现了科技发展的一个重要趋势：让先进技术真正服务于每个人的日常生活。InfiniPot-V不仅仅是一个技术方案，更是让AI技术走向大众化的重要桥梁。有兴趣了解更多技术细节的读者，可以通过arXiv:2506.15745v1在arXiv.org上查阅完整的研究论文。
Q&A
Q1：InfiniPot-V是什么？它能解决什么问题？ A：InfiniPot-V是一个智能视频压缩框架，专门为手机、AR眼镜等内存受限的设备设计。它能让这些设备在处理长视频时不会因为内存不足而卡顿，同时保持对视频内容的准确理解。就像给小储藏室配了个聪明管家，能自动整理空间。
Q2：这个技术会不会影响视频质量或理解准确性？ A：不会显著影响。实验显示，即使将存储需求压缩到原来的12%，系统的理解准确性仍然与使用完整存储空间的系统相当，在某些情况下甚至更好。关键在于它能智能识别真正重要的信息。
Q3：普通用户什么时候能用上这项技术？ A：目前这项技术还处于研究阶段，但由于它是"训练免费"的，可以直接应用到现有的AI系统中。预计在不久的将来，手机厂商和AR设备制造商就能将这项技术集成到他们的产品中，让用户享受更流畅的视频AI体验。
转自：至顶网
来源：新浪财经