摘要:苹果子品牌 Beats 在今年年初的时候,推出了一款内建监测的入耳式耳机 Powerbeats Pro 2,搭载 Apple H2 芯片,当时我们就预感式猜测:担心 Beats 是 Apple 在测试 AirPods 加入健康功能的前哨站?果不其然,现在又有最
苹果子品牌 Beats 在今年年初的时候,推出了一款内建监测的入耳式耳机 Powerbeats Pro 2,搭载 Apple H2 芯片,当时我们就预感式猜测:担心 Beats 是 Apple 在测试 AirPods 加入健康功能的前哨站?果不其然,现在又有最新研究论文展示其如何「用耳机录到的声音」来预测耳机呢?
Beats Powerbeats Pro 2内置心率监测器,可透过耳机的LED光学感测器,以每秒脉冲超过100次的绿色LED光,即时测量你的心率,其原理是透过光感测器接收反射光,分析血液流动造成的光反射变化。
而 AirPods 目前正在研究的是用耳机内建的麦克风「听」心音(如心跳声),再用 AI 分析音讯特征来推算出心率。这个资料来源是苹果机器学习研究部门最新释出的最新论文,意思是《Foundation Model Hidden Representations for Heart Rate Estimation from Auscultation》,中文大概是:用声音基础模型来来自「听诊音讯」的心率。乍一看很学术,但其实苹果在研究的就是:让 AI透过耳机听到的声音,算出你的心率。
AI生成地图
这项研究是由苹果内部主唱主导,研究核心在于:苹果团队想知道,那些到底是为语音识别训练出来的AI模型(如Whisper、Wav2vec2、CLAP),能不能用来分析心音,嗡医生用听诊器听到的声音(心音图、PCG),重新提示心率?
AI生成地图
实验方式:
他们用的是一份公开的医疗数据集 CirCor DigiScope,里面有来自 942 位不同的视角,共 3,163 段心音(PCG)录音。收音目录架构 4 个常见的心音听诊点(听诊点),每段长度从 5.1 秒至 64.5 秒不等,总长约 20 小时的心音录音档案。每段心音被评为长度5秒、每秒移动一次的片段,总共产生23,381笔测试样本。每段心音片段的心率,根据「心音的 S1 声音起点(S1 onset)」推算出来。将这些数据提供给六个不同的声音基础模型进行心率预测,包括:HuBERT、wav2vec2、WavLM、Whisper、公开版 CLAP,还有苹果自研版的 CLAP。最后再用MAE(平均绝对投影)来达到每个模型预测高精度的准确度。AirPods本来就已经有大量的麦克风、噪音消除技术与空间音讯处理能力。所以,如果未来能够将这些心音分析技术整合到AirPods,那么当你配戴耳机时,它就能像听诊器一样,持续在「听」你的心跳,而且不需要额外的感测器。
而且根据这篇研究结果显示,苹果自家训练的 CLAP 模型表现最佳,心率最低接近 1.88 bpm,甚至超过传统声音特征模型(1.91 bpm),意思就是苹果自己训练的 AI 模型不仅仅用在语音模型厉害,未来还有机会针对健康监测事实做了健康分析,你不用配戴手表、胸带或贴片,就可以获得达到基本的心率监测功能。
而目前发布的这份研究报告,也揭示了苹果正在积极开发「从声音健康监测」的能力,而 AirPods 将是最有可能承载这些功能的装置。
来源:APPLEFANS蘋果迷