座舱AI应用研究:从能用到“好用”,从“深度交互”到“自我进化

360影视 欧美动漫 2025-03-10 14:02 3

摘要:从21世纪初语音识别、人脸监控功能上车,到2023年“大模型上车”趋势兴起,再到2025年车企纷纷接入推理模型DeepSeek-R1,AI在座舱的应用迄今已历经3个阶段:

佐思汽研发布《2025年AI在座舱的应用研究报告》。

从21世纪初语音识别、人脸监控功能上车,到2023年“大模型上车”趋势兴起,再到2025年车企纷纷接入推理模型DeepSeek-R1,AI在座舱的应用迄今已历经3个阶段:

大模型上车前,座舱经历机械式座舱、电子式座舱、智能化座舱的发展,已经开始集成AI小模型算法,应用场景为人脸识别、语音识别等;大模型上车后,AI技术在座舱的应用范围与场景数量增加,AI技术的应用效果大幅度改善,但精确度和适用性无法保证;多模态大语言模型、推理模型上车后,座舱开始真正从基础的智能化阶段向“深度交互、自我进化”阶段演进。

不同阶段AI在座舱的应用特点

整理:佐思汽研

佐思汽研整理了AI在座舱不同部件系统中的应用场景,部分如表中所示:

AI在座舱的应用场景(部分)

整理:佐思汽研

座舱AI发展趋势之一:深度交互

深度交互体现在“联动交互”、“多模态交互”、“个性化交互”、“主动交互”以及“精准交互”。

深度交互的维度

整理:佐思汽研

以“精准交互”为例,推理大模型上车不仅提升了语音交互的准确率,尤其是提升连续识别准确率,还降低了语音处理过程中的时延。大模型通过动态理解上下文,结合传感器融合处理数据,可通过多任务学习架构同步处理导航、音乐等复合请求,响应速度较传统方案提升40%。预计2025年,推理模型(如DeepSeek-R1)大规模装车后,端侧推理能力能够让语音识别过程更快,准确率进一步提高。

部分车企通过AI大模型对语音助手的升级情况

整理:佐思汽研

零跑语音大模型优化详情

以“多模态交互”为例,利用大模型的多源数据处理能力,能构建起跨模态协同的智能交互体系。通过 3D 摄像头与麦克风阵列的深度融合,系统可同步解析手势指令、语音语义及环境特征,在短时间内完成多模态意图理解,较传统方案响应速度提升 60%。基于跨模态对齐模型,可实现手势控制与语音指令的协同操作,进一步降低在复杂驾驶场景下的误操作率。预计2025-2026年,多模态数据融合处理能力将成为新一代座舱的标配。典型场景包括:

手势控制:驾驶者可以通过简单的手势,例如挥手、指点等,实现对车窗、天窗、音量、导航等功能的便捷控制,无需分散驾驶注意力。面部识别与个性化:系统可以通过面部识别技术自动识别驾驶者身份,并根据其个人偏好自动调整座椅、后视镜、空调、音乐等设置,实现“上车即享”的个性化体验。眼球追踪与注意力监测:通过眼球追踪技术,系统可以监测驾驶者的视线方向和注意力状态,及时发现疲劳驾驶、注意力不集中等风险行为,并进行预警提示,提升行车安全。情绪识别与情感化交互:AI 系统甚至可以识别驾驶者的情绪状态,例如通过面部表情、语音语调等判断驾驶者是否焦虑、疲惫或兴奋,并据此调整车内氛围灯光、音乐、空调等,提供更加贴心的情感化服务。

座舱AI发展趋势之二:自我进化

2025年,座舱Agent会成为用户与座舱交互的媒介,其显著特征之一是“自我进化”,体现在“长期记忆”、“反馈学习”、“主动认知”。

自我进化的维度

整理:佐思汽研

“长期记忆”、“反馈学习”、“主动认知”是循序渐进的过程,AI通过语音交流、面部识别、行为分析等数据构建用户画像,实现“千人千面”的服务。该功能通过强化学习、推理相关技术实现,系统依托数据闭环持续学习用户行为,在强化学习机制下,每一次用户反馈都成为优化推荐结果的关键依据。

随着数据量的不断累积,大模型能够更加快速发现用户兴趣点转移的规律,能够提前预判用户需求。预计未来两年内,借助更先进的强化学习算法与高效推理架构,系统对用户新兴趣领域的挖掘速度提升 50%,推荐结果的精准度进一步提高。如:

宝马的座舱系统可记忆驾驶者座椅偏好、常去地点,并在雨天自动调暗氛围灯以缓解焦虑;梅赛德斯-奔驰的语音助理能根据用户日程推荐餐厅,并提前预约充电桩。

宝马的BMW智慧语音助理2.0基于亚马逊的Alexa大语言模型(LLM) 打造,融合个人助理、车辆专家与随行乘员三种角色,通过分析驾驶者的日常路线、音乐偏好甚至座椅调节习惯,生成定制化建议。例如,若系统发现驾驶者每周一早晨常在某家咖啡店停留,它会在类似场景下主动提示:“是否前往附近的星巴克?”此外,该系统还能根据天气或交通状况调整建议,比如在雨天推荐室内停车场;当用户说“你好,BMW,带我回家”、“你好,BMW,帮我找餐厅”,个人助理则能迅速规划路线、推荐餐厅。

BMW智慧语音助理2.0

座舱AI发展趋势之三:大模型与小模型“共生”

大模型上车近两年,大模型“完全取代”小模型的现象并未发生,小模型凭借其轻量级、低功耗的特点,在实时性要求高、数据处理量相对较小的端侧任务场景中表现出色;如在智能语音交互中,小模型能够快速解析“打开空调”或“下一首歌”等指令,提供即时响应。同样,在手势识别中,小模型通过本地计算实现低延迟操作,避免了云端传输的时滞。这种高效性使小模型成为提升用户交互体验的关键。

在实际应用中,二者相辅相成;大模型负责后台的复杂计算(如路径规划),小模型则聚焦前台的快速响应(如语音控制),共同构建了一个高效、智能的座舱生态。尤其是受DeepSeek的蒸馏技术启发,预计2025年之后,通过蒸馏高性能大模型得到的端侧小模型会有一定规模的量产上车。

大模型和小模型协同工作的“好用”体现在5个方面

整理:佐思汽研

大模型和小模型协同工作的部分案例

整理:佐思汽研

以蔚来为例,在整体上通过大小模型双轮驱动的方式运行其AI应用,重心为大模型,但也不会忽略小模型的应用。

蔚来AI应用的算法层采用大小模型协同的方式

《2025年AI在座舱的应用研究报告》目录

页数:310页

相关定义

01

AI 在汽车座舱中的应用场景

1.1 AI在座舱中的应用现状

AI入舱后,新一代座舱的特点

AI在座舱的应用场景:现状

1.2 场景一:语音识别

AI大模型接入语音识别发展路线

细分场景一:声纹识别

细分场景一:声纹识别

细分场景二:车外语音识别

语音交互供应商接入AI大模型

1.3 场景二:多模态交互

AI大模型接入面部识别发展路线

小模型在唇动识别场景的结合

小模型在虹膜识别场景的结合

虹膜识别车型

1.4 场景三:IMS

舱内监控系统实现功能

AI在舱内监控场景中的发展

舱内监控的AI算法示例

舱内监控:芯片供应商的AI技术应用

舱内监控:算法供应商的AI技术应用

1.5 场景四:HUD

AI算法在HUD中的应用

1.6 场景五:雷达检测

毫米波雷达中的AI算法(1)

毫米波雷达中的AI算法(2)

02

基于场景的座舱 Agent

2.1 座舱Agent概述

AI Agent简介

座舱AI Agent分类

座舱AI Agent演化方向:认知驱动

AI Agent在座舱落地的流程:从大模型到AIOS

基于LLM的AI Agent座舱落地程序

座舱AI Agent交互机制

座舱Agent应用场景分类(1)

座舱Agent应用场景分类(2)

AI Agent的演化方向:主动交互

AI Agent的演化方向:反思优化

2.2 座舱Agent应用背景

应用背景(1):多模态交互催生Agent落地

应用背景(2):场景创建成为Agent进化的重要途径

应用背景(3):Agent场景提升大算力芯片需求

应用背景(4):大模型性能决定Agent上限

应用背景(5):大小模型并头路线

03

供应商座舱AI 应用案例

各供应商座舱AI大模型功能一览

3.1 华为

华为AI在座舱的应用规划

华为HarmonySpace智能座舱的功能构建

华为小艺基于大模型的语音能力

华为Harmony OS的AI功能

华为Harmony OS“可见即可说”的两种实现方式

案例:鸿蒙车型的小艺助手交互场景

3.2 腾讯

腾讯智能座舱大模型框架

腾讯大模型加强交互功能

腾讯智能座舱大模型应用(1)

腾讯智能座舱大模型应用(2)

腾讯座舱交互特点(1)

腾讯座舱交互特点(2)

3.3 阿里

阿里千问大模型与OS集成

阿里基于AI的语音场景

阿里NUI 端云一体平台架构

阿里端侧大模型与云计算结合

千问端侧大模型在车机上的功能应用

千问端侧大模型搭载于一汽车机

3.4 百度

百度智舱基于文心一言大模型打造

百度AI原生操作系统

3.5 字节跳动(火山引擎)

火山引擎座舱功能亮点

3.6 智谱

智谱基于AI大模型的座舱设计架构

智谱AI大模型的场景设计

智谱AI大模型针对座舱交互痛点的设计

3.7 商汤

商汤智能车舱的六大功能

商汤日日新大模型对座舱交互的影响

商汤科技多模态处理能力框架

商汤绝影多模态交互应用案例

商汤绝影舱内监控产品

3.8 科大讯飞

科大讯飞星火大模型功能一览

讯飞星火大模型发展历程

科大讯飞星火大模型4.0升级内容

科大讯飞星火大模型核心能力

科大讯飞星火大模型部署方案

科大讯飞基于星火大模型的用车助手

科大讯飞星火语音大模型

科大讯飞星火大模型功能一览(1)

科大讯飞星火大模型功能一览(2)

科大讯飞星火大模型功能一览(3)

科大讯飞星火大模型功能一览(4)

科大讯飞星火大模型功能一览(5)

科大讯飞星火大模型功能一览(6)

科大讯飞星火座舱如何融入AI服务

星火大模型的应用技术

科大讯飞全栈智能交互技术

科大讯飞智能汽车AI算法芯片兼容情况

科大讯飞多模感知系统特点

多模态交互

3.9 思必驰

思必驰大模型详情

思必驰基于DFM大模型的DUI 2.0 产品

思必驰DFM大模型“1+N”布局

思必驰融合大模型解决方案

思必驰AI语音技术发展历程

思必驰AI语音技术的多模态交互方案

思必驰车载语音助手特点

3.10 云知声

云知声车载大模型解决方案

云知声大模型详情(1)

云知声大模型详情(2)

云知声大模型详情(3)

云知声山海大模型在座舱的应用

云知声车载语音解决方案商业模式

云知声语音基础技术

3.11 普强信息

普强信息语音大模型解决方案

普强信息智舱大模型(混合架构+融合开放)

普强信息车载语音解决方案(1)

普强信息车载语音解决方案(2)

3.12 中科创达

中科创达大模型布局

中科创达魔方Rubik大模型在座舱交互的应用

3.13 上汽零束

上汽零束的AI服务架构按照4个层级构建

上汽零束:AI对硬件层的改变

上汽零束:AI对软件层的改变

上汽零束:AI对云端/车端部署的改变

3.14 德赛西威

德赛西威座舱大模型的4个主要应用场景

德赛西威座舱大模型的多模交互

德赛西威座舱大模型的多模交互: Smart Solution 2.0

德赛西威车载语音研究历程

德赛西威语音大模型解决方案概览

德赛西威针对语音行业痛点的解决方案(1)

德赛西威针对语音行业痛点的解决方案(2)

德赛西威针对语音行业痛点的解决方案(3)

德赛西威针对语音行业痛点的解决方案(4)

德赛西威大模型语音未来规划

3.15 梧桐车联

梧桐车联:AI大模型赋能座舱的三个层级

梧桐车联:对智能座舱规划的四个阶段

梧桐车联:AI座舱架构设计

梧桐车联:AI大模型服务形态

梧桐车联:AI大模型应用场景

梧桐车联TTI OS与数字人结合

3.16 博泰车联

博泰语音交互技术

博泰擎AI语音能力配置(1)

博泰擎AI语音能力配置(2)

3.17 赛轮思

赛轮思汽车语言大模型解决方案

赛轮思语音助手与大模型结合方案

赛轮思语音助手

赛轮思车外语音交互

赛轮思基于大模型的语音核心技术

3.18 联发科

联发科座舱交互特点

3.19 佑驾创新

佑驾创新 I-CS 智能座舱采用CV技术

3.20 欧特明

欧特明视觉AI驾驶员监控系统

3.21 Smart Eye

Smart Eye 驾驶员监控系统的AI场景

LLM助力Smart Eye DMS/OMS辅助系统

04

主机厂座舱AI 应用案例

主机厂大模型应用一览

4.1 蔚来

蔚来多模态感知大模型:NOMI GPT

基于NOMI GPT的座舱多模态交互应用

基于NOMI GPT的乐道智能座舱交互场景

4.2 理想

理想同学:构建多重场景

理想同学的思维链可解释性

理想Mind GPT:作为大模型核心构建AI Agent

理想Mind GPT:多模态感知

理想大模型训练平台采用4D并行方式

与英伟达合作落地推理引擎

理想同学在MEGA Ultra中的多模态交互案例

4.3 小鹏

小鹏智能座舱方案:XOS 天玑系统

4.4 小米

小米车端大模型:MiLM

小米声音大模型上车

小米:小爱同学通过语音指令进行场景覆盖

小米:语音任务解析与执行流程

小米:小爱同学通过RAG精准匹配

小米HyperOS上线DeepSeek R1模型

小米 SU7自研声音大模型

4.5 零跑

零跑大模型1.0:通义大模型

零跑大模型2.0:通过DeepSeek R1加强座舱大模型能力

4.6 比亚迪

比亚迪璇玑 AI 大模型在座舱的功能场景

比亚迪璇玑 AI 大模型在座舱的案例

4.7 上汽

智己大模型在车载语音的应用

智己大模型应用案例

智己AI大模型构建主动感知场景

4.8 广汽

广汽智能座舱方案

广汽AI大模型的座舱应用

DeepSeek在广汽座舱的应用

4.9 北汽

北汽大模型发展的3个阶段

北汽大模型特定场景(1)

北汽大模型特定场景(2)

北汽智能体平台架构

北汽对大模型产品的规划思路

AI应用案例

4.10 长安

长安星海大模型对座舱交互的提升

长安将AI融入SOA架构层

长安对“数智”座舱的规划

长安实现座舱场景与功能的自动切换

AI应用案例

4.11 长城

长城大模型的座舱应用

4.12 奇瑞

奇瑞LION AI基座

星途星纪元 ET搭载Lion AI大模型

4.13 吉利

吉利星睿AI大模型

吉利星睿AI大模型接入DeepSeek

吉利汽车智能座舱方案

Flyme Auto 语音交互能力

极氪智能座舱方案:ZEEKR AI OS

吉利大模型座舱应用的两种形式

吉利大模型上车情况

吉利大模型上车情况:吉利银河E8

吉利大模型上车情况:极氪7X

极氪座舱Agent场景:生活服务

极氪座舱Agent场景:多模态感知

4.14 江淮

江淮AI座舱的4项应用

江淮AI大模型上车案例

4.15 宝马

基于LLM打造的BMW智慧语音助理2.0

4.16 奔驰

MB.OS数字世界借助MBUX虚拟助理实现个性化服务

奔驰座舱大模型合作动态

4.17 大众

大众语音交互系统升级动态

大众、百度合作上车语音模型

05

AI 在座舱中的应用趋势与技术资源

5.1 AI在座舱中的应用趋势

趋势一:

趋势二:从大模型到Agent

趋势三:

趋势四:

趋势七:

5.2 AI技术在座舱中落地的资源测算

资源测算

不同座舱AI算法的优势与不足

来源:佐思汽车研究

相关推荐