摘要：沿着这个主旋律，可以划分出两个进化方向：一个是持续降低用户与大模型进行有效沟通的难度；另一个则是让大模型具备执行更复杂任务的能力。
前言：
大模型落地C端场景的核心，就是让大模型的能力越来越接近人。
沿着这个主旋律，可以划分出两个进化方向：一个是持续降低用户与大模型进行有效沟通的难度；另一个则是让大模型具备执行更复杂任务的能力。
前者的实现，需要给到大模型多模态能力；后者则需要依托于Agent产品生态的不断成熟。
作者 | 方文三
图片来源 | 网 络
多模态技术多方融合
多模态技术旨在让AI系统融合视觉、语言、音频等多种信息，以更接近人类的方式理解和交互。
近年来，多模态大模型取得了显著进展，像OpenAI的GPT-4，不仅能处理文本，还能结合图像信息进行分析，在图像生成、图像问答等任务中表现出色。
谷歌的Gemini同样展现出强大的多模态理解与生成能力，能够实现文本、图像、音频之间的跨模态转换。
国内企业也在积极布局，百度文心一言通过升级，增强了多模态交互功能，可进行图文创作、视频内容理解。
阿里通义千问探索多模态技术在电商场景的应用，如商品图像识别与描述生成，提升购物体验。
落地困境待突破
尽管多模态技术发展迅速，但在实际落地中仍面临诸多问题。一方面，多模态数据的融合存在技术难题。不同模态的数据特征差异大，时间和空间尺度也不一致，要实现精准融合并不容易。
比如在自动驾驶场景中，摄像头捕捉的视觉信息和雷达获取的距离信息，如何在同一时间维度上有效融合，为车辆决策提供准确依据，仍是亟待解决的问题。
另一方面，多模态技术的应用对算力要求极高。训练和运行多模态大模型需要大量的计算资源，高昂的算力成本限制了其在一些中小企业和资源受限场景中的应用。
同时，多模态模型的可解释性也较差，当模型做出决策时，很难理解其背后的逻辑，这在医疗、金融等对决策可解释性要求较高的领域，成为阻碍技术应用的关键因素。
Agent市场崛起与发展瓶颈
Agent，即智能体，是能够感知环境、自主决策并执行动作的智能化系统。
随着AI技术的发展，Agent市场呈现出爆发式增长。2024 - 2030年，全球Agent市场规模预计将从51亿美元激增至471亿美元，年复合增长率高达46.5%。后疫情时代，企业对自动化、智能化的需求大增，推动了Agent在各行业的应用。
国际上，微软在RSA大会上对Microsoft Security Copilot进行重大升级，引入多个AI智能体，实现网络钓鱼分类、告警分类等安全任务的自动化处理。
谷歌云的Gemini in Security利用Gemini能力，为安全从业者提供自然语言交互、威胁理解与主动风险管理等功能。
国内企业也纷纷布局，智谱发布Agent家族，覆盖手机、浏览器等多终端场景，拓展了智能体的应用边界。
Agent技术目前仍处于发展初期
在复杂场景下，智能体的自主决策能力还有待提高，容易出现决策失误或无法应对突发情况。
例如在智能客服场景中，面对复杂的客户问题，智能体可能无法准确理解意图，给出的回答不尽人意。
此外，Agent的长期记忆和知识更新能力也存在不足。在与用户的持续交互中，难以有效保存和利用历史信息，且面对新知识时，更新速度较慢，无法及时跟上业务变化的需求。
大厂角逐机遇与挑战并存
面对多模态和Agent技术带来的机遇，各大厂纷纷加大投入，展开激烈竞争。技术研发上，不断投入资源提升模型性能，优化算法，突破多模态融合与智能体自主决策的技术瓶颈；
产品应用层面，加速将技术落地到具体业务场景，如智能安防、金融风控、办公协作等，抢占市场份额。
构建生态也成为大厂竞争的关键策略。通过开放平台、开源技术，吸引开发者、合作伙伴共同参与，丰富技术应用场景，形成良性循环。
例如，微软积极构建开放生态，与多家合作伙伴共同推出第三方安全智能体；谷歌通过开源部分技术，推动多模态和Agent技术的普及与创新。
但在这场角逐中，大厂也面临着诸多挑战。技术创新需要持续投入大量的人力、物力和财力，且技术研发存在不确定性，一旦方向错误或进展缓慢，将面临巨大损失。
同时，随着技术的应用范围扩大，数据隐私和安全问题也日益凸显，如何在保障用户数据安全的前提下，实现技术的创新与应用，是大厂需要解决的重要问题。
结尾：
多模态和Agent技术虽前景广阔，但要实现大规模的商业应用和技术突破，还需解决诸多实际问题。
随着技术的不断成熟和应用场景的拓展，有望为各行业带来更多创新应用，深刻改变人们的生活与工作方式。
内容参考来源：搜狐：2024年大模型再进化：AIAgent与多模态技术引领AI落地热潮；窄播：多模态和Agent成为大厂AI的新赛点；2024年AI新纪元：成本降低、AI Agent兴起与多模态技术的全面崛起；AI识别一切：怎么看待多模态智能体目前的发展？；Agent AI智能体的未来：角色、发展路径及挑战
来源：AI芯天下
