全球首个!佛山企业推出AI实时面容翻译平台,28种外语“秒”译

360影视 日韩动漫 2025-04-26 00:54 1

摘要:电商主播在线上直播时,遇到外国买家无法沟通怎么办?本土短视频、短剧想推向海外市场,但苦于传统翻译服务费用高昂怎么办?……这两个难题目前已有了理想的解决方案。由一支香港人工智能团队创立的晒趣科技(佛山)有限公司,近日正式上线了全球首个生成式AI面容翻译平台,不仅

电商主播在线上直播时,遇到外国买家无法沟通怎么办?本土短视频、短剧想推向海外市场,但苦于传统翻译服务费用高昂怎么办?……这两个难题目前已有了理想的解决方案。由一支香港人工智能团队创立的晒趣科技(佛山)有限公司,近日正式上线了全球首个生成式AI面容翻译平台,不仅能精准克隆用户音色语调,支持28种语言的同步转译,更能把视频中人物说话口型翻译到与外语口型完全匹配的高清面部表情,让中国主播“无缝播外语”,中文短剧出海成为现实。

两大全球性突破

AI面容翻译并不是一项新技术,但由于背后需要较高算力且非常昂贵的GPU作支撑,现时市面上价钱比较合理的AI面容翻译工具普遍存在两大问题:一是面容翻译输出解像度低,二是翻译速度慢,远远不能做到实时面容翻译效果。

根据玛丽莲梦露照片,使用传统AI面容翻译工具生成的低解像度作品,神情、嘴型较为僵硬。

使用晒趣科技面容翻译平台生成的高解像度作品。

以面容同步为例,晒趣科技首席执行官林柏杰博士介绍,传统的AI面容翻译工具,能明显看出人物嘴型模糊、僵硬。他与团队凭借自身在AI与计算机视觉领域的优势,专门展开了一系列自主研发,通过创新的深度神经网络训练,针对不同的语气、神情反复测试,最终实现低阶GPU也能达到高面容翻译解像度输出。

在此基础上,晒趣科技也实现了真正意义上的“实时”。“大部分AI面容翻译工具都会存在几分钟至几小时的时延,而我们的时延只有10至20秒,在实时线上直播上相当于无感。”林柏杰说。

电商主播使用晒趣科技面容翻译平台后,可同时使用多种外语直播。

林柏杰认为,该技术主要面向两大类应用场景,一是电商主播跨境带货,可以同时用多种语言为不同国家的客户推销产品,帮助中国品牌销往全球;另一类是实现本土短视频、短剧、电影的角色面容翻译,“外国观众不习惯看带字幕的外语电影,且人工翻译或配音成本较高,有了这项技术,能很好地帮助中国的文化出海。” 林柏杰说。

意外结缘 扎根佛山

此前林柏杰带领的团队一直深耕人工智能方向,曾打造出全球首个网红视频背景营销SaaS平台,并多次在国际赛事中斩获殊荣。此前,他和团队在第十届中国创新创业大赛成长企业组中获一等奖,技术表现得到业界青睐,有创业孵化团队伸出橄榄枝,希望能引进其到粤港澳大湾区落户。期间,林柏杰考察后发现,佛山港澳青年创业孵化基地在地理位置、配套服务等方面都更胜一筹,于是在2024年10月正式进驻基地,扎根佛山发展。

晒趣科技首席执行官林柏杰博士。

林柏杰坦言,作为一家来自香港的初创公司,刚开始对内地的有关政策并不熟悉,所幸佛山港澳青年创业孵化基地不断提供帮助,为他们解读相关政策条例,牵线搭桥。本月初,佛山市科学技术局公布2025年度佛山市重点实验室(第一批)名单,晒趣科技牵头的“佛山市人工智能面容翻译技术重点实验室”成功登榜,这意味着,林柏杰及其团队今后将在科研投入、系统合作、产业需求对接等方面,得到更大的支持与推动,为佛山市高质量发展发挥科技支撑和引领示范作用。

为此,林柏杰信心满满地畅想实时面容翻译平台的下一步发展方向,“我们希望能在未来一到两年,开发更多实时面容翻译的应用场景,比如国际视频会议、远程教育等,助力人类迈向一个沟通无国界的新时代。”

文 | 佛山市新闻传媒中心记者陈宁静

图、视频 | 受访者提供

来源:佛山新闻

相关推荐