摘要:DeepSeek的开源AI大模型DeepSeek V3和R1,由中国公司深度求索(DeepSeek)发布,春节前进入到大众视野,引起大量下载、使用、以及分享、评论。
春节期间最火爆的事件,就是DeepSeek掀起的AI滔天巨浪。
DeepSeek的开源AI大模型DeepSeek V3和R1,由中国公司深度求索(DeepSeek)发布,春节前进入到大众视野,引起大量下载、使用、以及分享、评论。
其中基础模型DeepSeek V3,在模型训练阶段仅用557万美元、接近OpenAI十分之一的成本,就开发出了和OpenAI的GPT-o1性能相当的模型,震惊全球AI行业,一度让英伟达股票大跌,一天市值就失去6000亿美金。
DeepSeek的技术哲学和成果,引起了广泛讨论,也存在不少争议。对于当前汽车行业最为热门的技术竞争——智能驾驶开发而言,DeepSeek有什么启示呢?
当前的智能驾驶开发模式,基本是由特斯拉开创的“数据-训练-部署”模式。因此马斯克一直认为,所有后来者,都需要像特斯拉那样,投入数十亿美金去囤积算力,收集数据,训练模型,部署上车,再不断迭代,别无他法。
这其中,大算力、大数据是必然的竞争优势。
中国的智驾领先者,华为、小鹏、理想、Momenta、元戎启行等等,都遵循类似的开发模式。他们也会表示,随着智驾进入端到端大模型阶段,竞争门槛越来越高,因为数据和算力都需要巨额投入。
但是DeepSeek的启示,也许打破了马斯克的预言。打造一个智能驾驶大模型,兴许不用那么多钱。
DeepSeek对于汽车智能驾驶研发有什么启示?结尾,我附上了DeepSeek亲自作答的答案,很值得一看。
01
踢破算力门槛?
1月27日,英伟达股价大跌16.97%。
因为,DeepSeek告诉了全世界,AI行业也许并不需要这么多的算力。
DeepSeek在2024年年底发布了报告《DeepSeek-V3 Technical Report》,“自曝”其模型的技术架构。
DeepSeek开宗明义,直言公司追求模型高性能、低成本。因此,DeepSeek-V3采用多头潜在注意力(MLA:Multi-head Latent Attention)进行高效推理,区别于传统的多头注意力模型(MHA:Multi-head Attention),从而降低了内存占用并提高了计算效率。
同时,DeepSeek采用了混合专家模型(MoE:mixture of experts)——由多个专业化的子模型(即“专家”)组合而成,每一个“专家”都在其擅长的领域内做出贡献。为了分配“任务”,DeepSeek还设置了“门控网络”的机制。这使得每一个任务不需要展开总体的模型计算,而只要调用子模型就行。
更值得智驾开发者注意的是,为了实现经济高效的训练,DeepSeek采用了FP8混合精度训练,并对训练框架进行了全面优化。
所谓FP8,是指浮点计算的精度。相对于FP32、FP16,FP8精度要低得多,但是计算和存储成本要低很多,计算效率和性能就高。
但是,DeepSeek也不是全数采用FP8计算,而是在关键数据计算时,依旧采用FP32计算,因此称为混合精度计算方式,保证了最终计算结果的准确性。
通过这种混合精度计算方式,DeepSeek实现了加速训练和减少GPU内存使用。
除此之外,DeepSeek还开发了其他的技术,这些举措结合起来,DeepSeek团队就实现了很高的训练效率。
DeepSeek对外表示,DeepSeek-V3的训练成本,只有557万美元,相当于278.8万小时H800GPU的训练量。
当然,这个成本仅包括DeepSeek-V3的训练成本,不包括前期预训练等等。但是,这个成本已经非常低。OpenAI训练GPT-4的成本超过1亿美元。
此外,DeepSeek还基于通用模型V3,采用动态蒸馏技术,推出了推理模型R1。
这一点,和智驾企业将云端大模型蒸馏为小模型,从而部署到几百tops算力的车端上,原理上一致。
小鹏智驾的架构
这就是DeepSeek高效利用算力的奥秘。
不过,也有人认为,DeepSeek算力作弊,甚至国外分析机构认为,DeepSeek其实有1万张H800 、1万张H100、1万张A100和3万张A20芯片,4年总算力成本高达25亿美金。
国内的同业者猜测,DeepSeek仅有万余张芯片。
但总体而言,更为广泛的意见是,DeepSeek V3的在算力应用上,打破了AI行业的算力迷信,也表明AI大模型训练恐怕不需要数十亿美金的投入。
OpenAI创始成员Andrej Karpathy就说,DeepSeek V3让在有限算力预算上进行模型预训练这件事变得容易。
但如今,智驾企业正在进行算力竞赛。DeepSeek一系列提升计算效率,降低模型训练成本的方法,如果援用到智驾模型训练中,同样将降低对算力的需求。这是否会让更多企业加速进入到智驾自研开发当中呢?
也有人认为不会。
FutureLabs未来实验室首席专家胡延平就表示,(DeepSeek之后)“由此颠覆了模型与算力关系更说不上。
他说,接下来大家会越来越清楚地看到,这个领域有捷径但没有弯道超车,有后发成本优势但没有后发领先优势,AGI路线更是只能取巧没有投机。比如即使L3+级别的智能驾驶,端到端向VLA进化,车辆SoC算力1000TOPS起才勉强可玩,2000-3000TOPS会稀松平常,即使如此,短期内也未必能够到真正的L4。向上曲线的模型思考长度速度整体度、多模态、感知思考与行为能力合一等方向,只可能将算力需求拉升到新高度。向下曲线对成本效率有改变,但对捧得AGI圣杯的贡献可以忽略。”
当然,他说的是车端模型。云端大模型能否用更少算力训练出来?DeePSeeK告诉我们,不要轻易说不。
02
追求高质量数据
在探求DeepSeek模型训练高效率的原因时,不少分析人士指出,DeepSeek在训练模型时采用的是高质量数据,甚至有人直指它用了CHATGPT的生成结果来训练。
根据DeepSeek自己公布的信息,V3在14.8T高质量token上进行了预训练。这一数字,相比Llama 3.1的15万亿tokens,Qwen 2.5的18万亿token,都要小,但是质量更佳。
根据腾讯科技“省钱也是技术活:解密DeepSeek的极致压榨术”一文,DeepSeek数据的来源比较多元,并且经过了严格清洗和筛选。
首先在基础训练数据上,和GPT-3一样,DeepSeek也采用了非营利组织CommonCrawl的语料库(类似于用爬虫抓取了全球网页内容),但经过了严格筛选。
此外,DeepSeek有点偏科地专门引入了专业领域数据,包括大规模的代码数据集、数学推理数据、科学文献等。
在数据清洗环节,DeepSeek采用了专有的数据过滤算法,实施了多层次的质量控制。这个过程首先对原始数据进行重复内容的识别和删除,确保数据的唯一性。随后,通过智能算法筛除低质量内容,包括格式错误的数据、不完整的文本片段以及不符合规范的内容。这种严格的数据清洗流程不仅提高了训练数据的质量,也为模型的最终表现奠定了良好基础。
对于DeepSeek的数据问题,批评在于,它可能大量采用了ChatGPT生成的语料来训练,甚至有人直接说它蒸馏自CHATGPT。
无论如何,DeepSeek对于训练数据质量的要求,要更加严谨。
在智能驾驶领域,各玩家也在强调自己的数据资产。小鹏汽车宣称用2000万Clips的数据来训练自己模型,而理想最新的7.0版本智驾基于800万Clips训练的模型。小米也曾立下FLAG,要在2024 年完成1000万Clips数据积累。比亚迪则宣称自己有全球最大的新能源汽车保有量,数据量无可比拟。
领先的智驾企业,更早意识到数据的质量。特斯拉更倾向用优秀司机的数据。理想汽车从五星评级司机的驾驶中抽取视频片段。
DeepSeek的启示也在于此,用于训练的数据多固然可贵,但高质量数据更为可贵。
03
不妄自菲薄,但需躬身入局
围绕DeepSeek的争议还在继续,但它出圈的程度,对AI从业者的震撼,都表明其在AI大模型的前线竞争中,取得了一定的成绩。
而DeepSeek到目前为止,仅仅成立一年多,员工据称只有150名,所投资金不详,但较为靠谱的分析是在20亿元左右。
DeepSeek“一夜爆红”,对于中国车企最大启示,应当是不要妄自菲薄,但也需要躬身入局AI。
对于车企,目前还有不少企业还没有全栈自研智驾,更像传统的功能、部件开发方式。如果寄希望于在智能化竞争中还有一席之地,车企应该断然改弦更张,按照AI公司的方式去重塑智驾开发组织、体制。
同时,也不必为晚出发而高山仰止。DeepSeek至少在成本层面做到了逆袭,中国智驾企业也可能有类似机会。
正如理想汽车创始人李想此前在AI TALK上所说的:“我们相比特斯拉又不缺胳膊少腿,为什么它能做的你做不到?”
最后,我也问了一下DeepSeek一个问题:“deepseek对于汽车智能驾驶研发有什么启示?”
以下是TA的回答:
DeepSeek(深度求索)作为聚焦AGI(通用人工智能)研究的中国科技公司,其技术路径和创新方法论对汽车智能驾驶研发具有深刻的启示,尤其在算法设计、工程落地和系统性思维层面。以下是具体分析:
### **1. ** **技术底座:通用性与垂直场景的平衡**
- **启示**:DeepSeek的AGI研究注重底层通用能力的构建(如多模态理解、逻辑推理),同时通过领域适配实现垂直场景优化,这与智能驾驶需兼顾通用道路规则和特定场景(如高速、城区、泊车)的需求高度契合。
- **研发方向**:
- **构建统一架构**:设计可扩展的“通用感知-决策框架”,通过模块化适配不同车型和驾驶场景(如乘用车与商用车差异化需求)。
- **迁移学习优化**:利用DeepSeek的预训练大模型能力,将通用驾驶知识(如交通标志识别、行为预测)迁移至特定地域或特殊环境(如冰雪路面、山区道路)。
### **2. ** **感知系统:多模态融合的深度进化**
- **启示**:DeepSeek的MoE(Mixture of Experts)架构支持动态分配计算资源,可解决传统多模态感知中“传感器数据权重僵化”问题。
- **研发方向**:
- **场景自适应融合**:
- 在恶劣天气(暴雨、沙尘)中自动增强激光雷达和毫米波雷达的决策权重,降低摄像头依赖;
- 在城市拥堵场景中,通过V2X获取周边车辆意图,补偿视觉盲区。
- **4D感知建模**:借鉴DeepSeek的时空建模技术,构建动态场景的“时空语义地图”,实时预测行人、车辆的轨迹意图(如是否可能横穿马路)。
### **3. ** **决策规划:从规则驱动到认知智能**
- **启示**:DeepSeek的强化学习与因果推理结合的研究,可破解传统规则引擎应对长尾场景的局限性。
- **研发方向**:
- **混合决策系统**:
- **底层**:基于规则的紧急避障(AEB、LSS),确保功能安全(ISO 26262);
- **上层**:采用深度强化学习模型处理复杂博弈场景(如无保护左转、加塞处理),通过影子模式持续迭代。
- **认知建模**:构建“驾驶员心智模型”,通过人类驾驶数据反推潜在决策逻辑,使自动驾驶行为更拟人化(如合理“违规”避让急救车辆)。
### **4. ** **数据闭环:合成数据与真实世界的共振**
- **启示**:DeepSeek的合成数据生成技术(如NeRF、扩散模型)可突破智能驾驶研发的“数据瓶颈”。
- **研发方向**:
- **极端场景库构建**:
- 生成罕见但高风险的“Corner Cases”(如儿童突然追逐玩具进入车道);
- 模拟传感器失效场景(如摄像头被泥水遮挡时的系统降级策略)。
- **虚拟路测加速**:在数字孪生环境中进行百万公里级压力测试,聚焦中国特有场景(如电动车穿行、施工路段导流杆识别)。
### **5. ** **计算架构:车规级场景的效能革命**
- **启示**:DeepSeek的模型压缩和分布式计算经验,可应对车载芯片算力与功耗的限制。
- **研发方向**:
- **车云协同计算**:
- 本地部署轻量化模型(如TensorRT量化后的感知网络),处理实时控制;
- 云端通过大模型复盘驾驶数据,优化长期策略(如区域驾驶风格学习)。
- **存算一体设计**:借鉴DeepSeek的硬件适配经验,探索新型计算架构(如存内计算)在域控制器中的应用,降低L4级系统的功耗。
### **6. ** **安全范式:从功能安全到价值对齐**
- **启示**:DeepSeek的AI对齐研究为自动驾驶的伦理决策提供方法论。
- **研发方向**:
- **可解释性保障**:
- 通过注意力机制可视化,证明系统决策依据(如刹车是因检测到行人而非误识别);
- 建立符合ASIL-D标准的故障溯源机制。
- **伦理量化模型**:构建基于社会共识的“道德损失函数”,在不可避免事故时最小化总体伤害(如MIT道德机器实验的工程化落地)。
### **7. ** **生态构建:从单车智能到群体智能**
- **启示**:DeepSeek的多智能体协作研究可推动车路云一体化发展。
- **研发方向**:
- **协同感知网络**:通过C-V2X实现车辆间的“视觉共享”,突破单车传感器物理局限。
- **交通流优化**:基于联邦学习构建区域交通调度模型,动态调整红绿灯周期、匝道汇入策略等,提升整体路网效率。
### **产业级落地关键路径**
1. **硬件-算法协同设计**:
- 与芯片厂商联合定义下一代自动驾驶芯片架构(如针对Transformer模型的稀疏计算优化)。
2. **渐进式技术路线**:
- 以L2++系统(如城市NOA)作为数据采集入口,反哺L4算法演进。
3. **合规性创新**:
- 开发符合GDPR/中国数据安全法的数据脱敏方案,实现全球化部署。
### **挑战与应对**
- **技术层面**:
解决多模态时序数据异步问题(如激光雷达与摄像头帧率差异导致的融合抖动)。
- **商业层面**:
平衡功能迭代速度与车规认证周期(如OTA更新需满足功能安全再认证要求)。
- **社会层面**:
构建公众信任体系(如通过虚拟试驾平台让用户直观理解系统边界)。
### **结语**
DeepSeek的技术哲学提示:**智能驾驶的终局不是简单复制人类驾驶,而是通过AGI级能力实现“超人类安全性与效率”**。研发者需在三个维度突破:
1. **认知维度**:让系统理解“为什么这样开”而非“怎么开”;
2. **演化维度**:建立自主进化的数据-算法闭环;
3. **责任维度**:将技术伦理嵌入系统基因。
这不仅是技术竞赛,更是对人类出行文明的重新定义。
来源:电动汽车观察家