小型语言模型的崛起

360影视 动漫周边 2025-04-27 08:00 3

摘要:近年来,大型语言模型(LLMs)主导了人工智能发展,但随着AI应用向精细化、产业化迈进,小型语言模型(SLMs)凭借高效、低成本、可控性强的优势迅速崛起。微软Orca、谷歌PaLM 2 Gecko、IBM Granite已在不同应用场景中展现竞争力,中国的通义

摘要:近年来,大型语言模型(LLMs)主导了人工智能发展,但随着AI应用向精细化、产业化迈进,小型语言模型(SLMs)凭借高效、低成本、可控性强的优势迅速崛起。微软Orca、谷歌PaLM 2 Gecko、IBM Granite已在不同应用场景中展现竞争力,中国的通义、零一万物、百川,印度的 Sarvam AI也在积极布局。SLMs推动AI向数据合规、隐私保护、边缘计算等方向拓展,降低企业和政府对超大模型的依赖,实现精准化赋能。然而,SLMs在泛化能力、推理深度和安全性方面仍存挑战。未来,AI行业或将形成LLMs与SLMs协同发展的生态,实现更广泛的智能应用落地。

图源:TelecomTV

2024年,人工智能的竞争逻辑正在悄然改变。曾经,行业追逐更大、更强的模型,试图以规模突破智能极限,但如今,更精、更快、更可控正成为新的关键词。微软、谷歌、Meta等科技巨头纷纷推出小型语言模型(SLMs);《麻省理工科技评论》将SLMs认定为2025年十大突破性技术之一。相比于像GPT-4这样庞大而昂贵的LLM,SLMs以更低的资源消耗、更快的推理速度和更强的适配能力,在AI产业落地中展现出独特优势。这一趋势意味着什么?SLMs能否成为企业级AI的新标准?本文将深入探讨SLMs的崛起、应用前景及潜在挑战。

一、从LLMs到SLMs:AI精确化与高效化的应用转向

LLMs为何占据主导地位:

(一)突破性的技术能力与广泛应用

OpenAI的GPT-4与Google的Gemini等LLMs具备强大的通用型人工智能能力,能够胜任论文撰写、语言翻译、代码生成乃至问题解答等多样化任务。得益于庞大的参数规模和海量数据训练,这些模型已广泛应用于教育、医疗、客户服务、软件开发等多个领域。最引人注目的ChatGPT自发布仅两个月后,用户规模即突破1亿。

(二)巨头资本涌入与产业战略竞争加剧

生成式AI浪潮引发资本市场与企业巨头竞相投入巨资,推动LLMs迅速成为产业焦点。据AI Business统计,2023年全球生成式AI创业公司的融资规模达到250亿美元,同比增长八倍,展现出资本市场对该领域的高度认可。微软向OpenAI注资100亿美元,亚马逊向Anthropic投资40亿美元,谷歌重组旗下AI部门,而Meta、亚马逊等企业也在加紧布局类ChatGPT模型,行业竞争日趋激烈。麦肯锡分析认为,这种大规模投资不仅体现了企业对AI技术的长期押注,也展现了LLMs重塑未来商业模式和社会运作方式的潜力。此外,LLMs的快速普及,与搜索引擎、办公软件等核心产品的深度融合,进一步巩固了其产业头条地位。

(三)政策聚焦与国际竞争

全球主要国家正加强对LLMs的政策监管,并将其视为科技竞争的重要组成部分。例如,欧盟推出《人工智能法案》,对其基础模型的使用进行规范,以确保技术安全性和透明度。与此同时,美国、中国及欧洲各国政府正鼓励国内科技企业加快LLMs研发,以保持国际竞争优势。

(四)激发社会想象与文化转型

除了经济与技术影响,LLMs凭借其出色的语言能力与拟人化表现,迅速引发公众广泛的想象和讨论。从通过各类职业资格考试、生成代码,到创作文学和辅助科研,这些模型的表现远超大众预期,开启了人们对未来教育、科学探索和创意工作的深层思考。此外,围绕LLMs的道德风险、信息真实性及劳动力替代等社会议题,也加剧了公众关注热度,成为政策制定者和企业管理者关注的重点。

小型语言模型(SLMs)为何崛起:

近年来,AI行业长期聚焦于超大模型(LLMs)的发展,然而,随着技术逐步向实际应用落地,强调针对性场景的小型语言模型(SLMs)开始进入主流视野。与LLMs动辄数百亿乃至数千亿参数不同,IBM研究团队将小型语言模型定义为“规模在300亿(30B)参数以下”的模型。现实应用中,大部分SLM的参数量级更低,往往仅有几百万到几十亿个参数,能够轻松部署在单个GPU甚至智能手机等终端设备上运行,无需依赖庞大的云计算资源,降低了企业的基础设施要求。

小型语言模型(SLMs)的崛起主要源于其显著的实用优势。首先,与超大模型相比,SLMs在训练和运行阶段的计算成本明显降低,更易为普通企业所负担。其次,较小的规模意味着更高的推理速度和更低的能耗,使其在对实时响应、低延迟和可持续发展要求较高的应用场景中具有更大优势。企业还可以利用SLMs根据自身专属数据进行快速调校,进行灵活定制和快速更新,从而提高模型的透明度,避免了大型模型常见的“黑盒”问题,增强企业对AI技术的控制力。另外,SLMs能够实现边缘端部署,特别是在移动设备和嵌入式系统中的应用。例如,谷歌的轻量级Gecko模型成功实现在手机上的离线快速运行,为用户提供流畅可靠的本地化AI体验。未来,SLMs在边缘计算、物联网设备和隐私保护场景中将发挥更大的作用。

SLMs具备诸多优势,但其应用领域较为局限。由于规模较小,SLMs难以具备通过超大规模训练获得的丰富知识和涌现能力,尤其面对复杂的、开放性的任务时,表现可能逊色于LLMs。因此,SLMs更适合精准的细分领域,例如基于企业内部数据训练的客服机器人或特定金融分析模型,而不是承担通用型人工智能的角色。世界经济论坛研究指出,这种“专注小场景”的定位,决定了SLMs更适用于有明确边界和数据来源的业务环境,例如企业内部数据的知识问答或特定垂直领域的内容生成。

总体来看,小型语言模型并非是对大型模型的简单替代,而是面向企业业务需求的精准补充。正如《福布斯》文章指出,AI领域正在从“规模竞赛”向“精准适配”转型,即如何以最经济、最高效的方式精准满足实际业务场景需求。这一趋势推动企业更加注重AI技术的应用价值,而不仅仅追求模型的参数规模。

二、小型语言模型(SLM)的发展现状:中美印对比

(一)美国:产业多元,商业落地

微软在2023年发布Orca模型,声称利用知识蒸馏技术将13B参数模型训练至接近130B模型的性能。谷歌则开发PaLM 2系列,提供从最小的Gecko(壁虎)到最大的Unicorn(独角兽)等四种规格,覆盖不同需求,以降低算力依赖,推动小型化布局转型。尤其是Gecko这款轻量SLM,可以离线运行在手机等移动设备上,可广泛应用于Gmail、Google Sheets等日常软件之中。Meta通过开源Llama系列推动SLM的广泛普及,并提供部分商业许可,使企业和开发者能够迅速构建垂直领域专用AI。IBM明确将SLM作为企业AI战略核心,推出Granite系列模型(约10B参数),并通过InstructLab工具帮助企业以极低成本快速定制专属的AI服务。IBM实验结果显示,Granite模型在企业内部应用场景下表现甚至优于通用大型模型,而成本仅为使用巨型模型的数分之一。亚马逊借助Amazon Bedrock平台提供多样化SLM,包括初创公司的轻量级开源SLM,以满足多元客户需求,同时利用自研芯片(Inferentia、Trainium)提升小模型部署效率。

总体而言,美国科技公司在模型战略布局上正发生明显转变:主要的云AI平台正在从一刀切的LLM产品转向一系列大小、速度和专业化程度各异的模型,追求实际效率与落地结果。虽然目前SLM占企业整体AI部署的比例尚未超越LLM,但成本优势、快速部署能力及数据自主性正在推动SLM成为主流选择。

(二)中国:自主创新,技术突围

受限于高端AI芯片供应,中国企业通过优化算法和硬件整合,在SLM领域推动本土化技术突破。01.AI(零一万物)实现在低端芯片上对模型高效训练,百川AI与高通合作开发适用于智能手机的SLM,百度、字节跳动等企业也在智能终端中预装小型语言模型。

政府正在鼓励发展“安全、可控、实用”的AI技术。乔治城大学CSET报告称,中国技术专家与政府意识到大模型的诸多局限性,认为扩大模型规模并不能实现智能,主张探索符号推理、知识图谱、多模态与脑启发式AI等多元路径,实现大小模型协同。例如,北京智源研究院“悟道”模型结合语言和多模态数据,实现更稳健表现;商汤科技的日日新SenseNova模型在中文任务上甚超越同量级西方模型,展示了SLM专业化训练的竞争优势。商汤还与华为合作,基于Ascend芯片开发金融、医疗和政务场景的专用SLM。阿里云的通义推出从0.5B到14B参数规模的多款SLM,广泛落地于医疗、矿业等产业,服务企业用户达220万家。

综上,中国对SLM的积极布局,既是算力限制和数据安全的必然选择,也体现了超越西方AI模式的战略思考——通过“小而强”的模型,以更务实、更经济的方式推动AI普及,在产业落地和技术竞争中占据主动权。

(三)印度:本土需求,AI主权

印度AI战略强调小模型的普及性和本地化,以满足多语言社会的需求并保持技术自主权。2024年,印度政府启动国家AI任务(IndiaAI),特别关注印度22种官方语言和数百种方言的AI覆盖率。政府支持的“Bhashini”项目正在推进针对印度语系的翻译与自然语言处理模型,确保技术能够在本地服务器部署。政府还通过政府通过开放数据集、提供计算资源,进一步助推AI生态发展。

印度AI初创企业Sarvam AI开发出仅2B参数的Sarvam-1模型,专门针对印度语言数据集进行训练,支持语音助手和客服机器人等多种应用。非营利机构AI4Bharat推出IndicBERT等模型,加速了印度本土SLM生态的形成。塔塔咨询(TCS)开发专用金融模型平台,Reliance也宣布基于印度语系的AI研发计划。

对印度而言,SLM通过低成本、本土化、高效部署的优势,成为实现“全民AI”目标的关键路径,不仅满足了国内多样化市场需求,也实现了在全球AI产业链中的“技术主权”“数据主权”和独特竞争力。

三、小型语言模型(SLM)的潜力和争议

一方面,SLMs在精准应用、数据合规、边缘计算和成本效益等方面展现出广阔潜力。

赋能产业。SLMs推动AI应用从大规模通用模型向特定业务场景优化转变,显著降低中小企业的AI应用门槛。企业可通过定制化SLMs服务体系,并结合知识蒸馏、LoRA微调等方法提高训练效率,迅速响应市场需求,实现精准业务赋能。

更符合隐私与监管要求。随着全球数据监管趋严,SLMs因其规模小,数据集精简透明,且无需依赖大型科技公司云端API,更易符合数据安全与合规要求。IMB指出,金融、医疗及政务等敏感行业,适宜优先采用本地部署的SLMs方案。政府亦可推动SLMs的政策性应用试点,建立与之匹配的数据合规审计流程。

推动边缘计算革命。SLMs助力AI能力从云端扩展至边缘终端,助力智慧城市、智能家居、车联网等新兴场景。政府应推动以SLMs为基础的数字基础设施投资布局,出台边缘计算产业政策支持方案,企业则可加强终端设备的AI集成,抢占智慧医疗、智能制造和自动驾驶等高潜力市场。

成本效益与可持续性。企业并非所有应用都需要LLMs的超大参数规模,SLMs在特定任务中以更低成本提供相似精度。例如,IBM验证其Granite模型在相同质量下,训练成本仅为LLMs的1/23,并显著降低能源消耗,这使其成为更具经济性的选择。

另一方面,SLMs的崛起也引发了一系列争议。

性能受限,难以匹敌LLMs。发尽管SLMs在特定场景表现良好,但在复杂推理、代码生成等任务上仍难以匹敌大规模LLMs。研究表明,某些AI能力可能仅能在超大规模参数模型下涌现,SLMs在泛化能力、深度学习推理等方面仍存在明显短板。

安全与滥用风险。AI Bussiness研究指出,由于SLMs的代码是开源的,数据盗窃和隐私问题等安全风险会更加严重。浙江大学区块链与数据安全全国重点实验室发现,近50%的SLMs在遭受越狱攻击时显示出高脆弱性,开发人员需从开发早期阶段优先考虑安全设计原则。

模型泛化能力不足。SLMs虽然在特定任务中表现优秀,但在应对更广泛、多变的场景时,如复杂推理、跨领域知识整合上,往往难以维持高效表现。相较于LLMs,SLMs可能更容易受到数据偏见的影响,缺乏足够的适应能力。

四、结语

近年来,大型语言模型(LLMs)凭借强大的通用能力主导了人工智能技术的发展。然而,随着AI应用逐步迈向精细化和产业化,小型语言模型(SLMs)因其高效、低成本、可控性强的特点,正在迅速崛起。微软的Orca系列在小参数规模下实现接近LLM的性能,谷歌的PaLM 2 Gecko让AI在手机上离线运行,IBM的Granite则在企业级AI应用中展现出极高的性价比。中国的通义、零一万物、百川等专注于本地化SLMs开发,而印度的Sarvam AI通过优化本土语言模型推动AI在多语言环境中的普及。

SLMs的崛起不仅为AI产业提供了一种更可持续、更经济的路径,也在数据合规、隐私保护、边缘计算等方面展现了巨大潜力。SLMs降低了企业和政府对超大模型的依赖,使更多行业能够灵活部署AI能力,实现精准化赋能。然而,SLMs仍面临性能局限、泛化能力不足等挑战。安全风险亦不容忽视,部分SLMs因开源特性增加了攻击和滥用的风险。

总体来看,SLMs的崛起并非对LLMs的替代,而是推动AI生态从“规模竞赛”向“精准适配”转型。未来,AI技术的发展可能呈现大小模型协同共存的格局,政府、企业和研究机构需要在技术、监管与市场之间寻求平衡,使SLMs增加AI落地的广度。

参考文献

Adebayo, K. S. (2025). Small language models could redefine the AI race. Forbes.

Alford, A. (2023). Microsoft's Orca 2 LLM outperforms models that are 10x larger. InfoQ.

AP. (2024). Amazon to invest an additional $4 billion in AI startup Anthropic. Associated Press.

Ashish, N., & Bhattacharya, J. (2025). Why India must build its own language models. Outlook Business.

Bernabe-Moreno, J. (2025). The power of small language models. IBM.

Chahramani, Z. (2023). Introducing PaLM 2. Google Blog.

Hannas, W., Chang, H.-M., Riesenhuber, M., & Chou, D. (2025). Chinese critiques of large language models: Finding the path to general artificial intelligence. Georgetown University’s Center for Security and Emerging Technology (CSET).

Heaven, W. D. (2025). Small language models: AI breakthrough technologies 2025. MIT Technology Review.

Kabir, O. (2024). How China's AI companies are outmaneuvering US chip sanctions. Calcalistech.

Korinek, A. (2024). Large language models level up: Better, faster, cheaper. Brookings Institution.

Marathe, J., & Giri, A. (2025). Build defence ‘Indic’ AI-language models in India. Observer Research Foundation (ORF).

McKinsey. (2023). The economic potential of generative AI: The next productivity frontier. McKinsey & Company.

Millar, A. (2025). What are small language models really good for? Tech Monitor.

Moorthy, N., & Roy, S. (2025). Seeking the right model: What's keeping India from building its own LLMs. The Economic Times.https://economictimes.indiatimes.com/tech/artificial-intelligence/seeking-the-right-model/articleshow/118537930.cms?from=mdr

Openfuture. (2024). AI act and open source. Openfuture.eu.

Sadashiv, K. (2024). Indian AI startup Sarvam launches LLM trained on 10 Indic languages. Medianama.

Sharma, V. (2023). Europe’s largest seeded startup Mistral AI releases first model, outperforming Llama 2 13B. VentureBeat.

Sofi, J. (2025). India’s strategic imperative: Forging sovereign AI in the global LLM race. Times of India.

Stanford Human-Centered AI Institute. (2024). AI index: State of AI in 13 charts. Stanford HAI.

Suri, A. (2025). The missing pieces in India’s ai puzzle: Talent, data, and R&D. Carnegie Endowment for International Peace.https://carnegieendowment.org/research/2025/02/the-missing-pieces-in-indias-ai-puzzle-talent-data-and-randd?lang=en

Taulli, T. (2024). 3 most common problems with small language models. AI Business.

Triolo, P., & Schaefer, K. (2024). China’s Generative AI Ecosystem in 2024: Rising Investment and Expectations. The National Bureau of Asian Research (NBR).

Werner, J. (2025). China challenges large language models as the sole path to general AI. BABL AI.

Whiting, K. (2025). What is a small language model and how can businesses leverage this AI tool? World Economic Forum.

Wodecki, B. (2024). Generative AI funding hits $25.2 billion in 2023, report reveals. AI Business.

Zhang, W., Xu, H., Wang, Z., He, Z., Zhu, Z., & Ren, K. (2025). Can small language models reliably resist jailbreak attacks? A comprehensive evaluation. ArXiv. https://arxiv.org/abs/2503.06519

编辑:信沫含

来源:新浪财经

相关推荐