作者:孟庆林 华南理工大学物理与光电学院声学研究所
1、引言
助听器(Hearing Aid)是指通过声学方式将声音进行特定处理后的放大,再传递给听力损失者的听力辅助设备。从功能上来说,助听器效果主要受到助听器技术本身和用户的听觉生理、认知能力的影响。当然,所在的声学环境也会对效果产生影响。
本文针对的是一个宏观问题:“为什么说助听器还不够好?”并为中国的助听器发展提出一些建议。我在2018年翻译了一篇文章:《为什么助听器还不够完美?》,这篇文章比较全面地覆盖了限制助听器效果的原因。文中提到,外周听觉系统的主要功能是放大、压缩和频率分析,对于在听力损失中占多数的感音神经性听力损失不仅仅听力阈值提高了(即降低了对声音的灵敏度),更重要的是神经活动模式多方面的破坏,例如外毛细胞的主动机制(非线性处理)被削弱所导致的频率选择性下降。另外,在中枢层面的缺陷,例如时域处理和认知功能的下降,进一步给助听器的使用效果带来了挑战。
2、专业人士和AI的看法
在准备这次报告时,我也采访了若干位助听器行业人员。我的提问是:“**老师,请教您一个问题:为什么说助听器还不够好?能否用简短的语言回答。” 以下是一些第一印象的答案:
某助听器验配师: 因为听觉还是很主观的感觉,不太可能用各种电子元器件就真的能模拟出完全符合用户需求的声音。注定了它只能是“补偿”而不是“治疗”。
某海外听力学老师:一言以蔽之,助听器通过提升音强的方法,难以解决语音清晰度低的问题。
某康复中心老师:即使助听技术在帮助听损患者聆听方面已经取得非常大的进步,但助听器仍存在一些不足,例如:1.每个患者的听损状况都是独特的,助听器很难满足每个听损用户的需求;2.助听器在噪音环境、远距离倾听等情况下的聆听效果仍存在不足;3.助听器在放大声音的同时也可能出现失真的情况,无法还原自然的声音特质;4.贵......
某听力学博士:“有时候不是说助听器不够好,而是助听器无能为力。本质上助听器只是对声音做处理,处理后的声音还是要通过受损的耳蜗。耳蜗的受损程度决定了助听器效果的上限。”
某听力学老师:“听力损失的病理比较复杂(尤其老人是多种问题的叠加),因此声学放大这种方式存在局限性。”
某海外助听器验配师:“我不太明白这个问题。可能是世上没有完美的东西吧。”
国内某机构助听器验配师:“您所指的助听器还不够好,是指一个听损患者带上助听器之后表述的效果不理想的意思吗?如果说是的话,我的理解是,一是助听器的频宽相较于我们人耳能够感知到的频率范围窄;二是降噪技术;三是自身毛细胞功能受损带来的处理声音信息的限制。”
某康复中心领导:“您这个问题太简短了,缺前提条件,没法回答。”
某资深听力研究者:主要是噪声环境(例如鸡尾酒会环境)下不理想,音质不自然,高端助听器会好一些。另外这个问题也跟患者的期望值有关系。所以这个问题可能是应该问哪些技术方面可以进行优化和改进。
ChatGPT-4: “这些因素导致助听器在满足听力需求方面仍存在局限性:声音失真,尤其在噪音环境中无法完全还原自然声音;适应性差,难以满足各种听力损失类型和复杂的听力需求;佩戴舒适性问题;技术限制无法完全替代正常听觉功能;以及个性化调节困难,难以实现完全符合个体需求的调节。”
Gemini:“助听器虽然可以帮助改善听力损失患者的聆听能力,但仍存在一些局限性,例如声音失真、缺乏方向性、容易产生反馈、个性化不足以及价格昂贵等,因此常被认为不够好。”
Kimi:“助听器可能还不够好的原因有很多,比如技术限制、成本问题、用户适应性、以及个体差异等。简单来说,尽管助听器技术不断进步,但仍有改进空间,以满足不同用户的听力需求和提供更自然、舒适的听觉体验。”
本次报告的重点并不在于具体阐述限制助听器效果的生理和技术原因,而是希望从更宏观的角度,针对当前国内的助听器研发现状,提出几点思考和建议。“好”是一个相对概念,因此,需要基于一定的参考目标来进行讨论。
3、我们的看法
助听器总体上来说是可以显著改善受试者的言语感知的,但是,与正常听力者相比:有挑战!
助听器总体上来说是可以显著改善受试者的言语感知的,以我们去年发表的辅音识别实验结果为例,如图1所示。其中受试者的助听器品牌没有做严格控制。在语音感知理论中,与元音相比,辅音的声学特征更复杂多变,在频率上也更依赖高频段的信息,也有研究表明句子中的辅音可能比元音对可懂度的贡献更大。总体上来说对于中度到重度听力损失者来说,助听器可以显著提升辅音识别率,但是仍远未达到正常听力者的水平。图中展示的实验结果来自于基于CV(元音-辅音)汉语单字的分辨的闭合式选择实验,其中元音(或韵母)固定为/ā/,辅音(或声母)为21种可能的声母。因此,该实验主要依靠了受试者对辅音的分辨能力。在实际言语交流中,由于句子中携带有大量的冗余信息(redundancy),在安静条件下佩戴助听器后的言语识别效果评分可能会有更接近正常听力者的表现。图中展示的助听器使用者在辅音分辨方面的不足,也定量反映出了冗余度的降低,这种不足虽然可能对安静句子的理解影响不明显,但是在语音被噪声干扰或发生其他畸变时就会遇到挑战。
图1:辅音识别率结果。所有子图中的颜色设置均一致。绿色为正常听力,蓝色为轻度听力损失,橙色为中度,红色为重度听力损失。
(a)未使用助听器的结果与所有受试者的听阈(n = 44)的散点图和回归线。插图显示了按听力损失程度分组的未使用助听器的平均结果。
(b)未使用助听器与使用助听器结果的比较。每条线代表一个受试者。箱线图中的白点表示组平均值。中度和重度听损人士的辅音识别率均有提高。
(c)按听力损失程度分组的未使用助听器和使用助听器的平均结果和标准差。
(d)每个单独辅音的未使用助听器结果。
(e)每个单独辅音的使用助听器结果。
除了以上例子以外,与正常听力者相比,还有一些常见的助听器使用过程中的痛点问题(即挑战),包括:
1)音质:助听器放大声音时可能会改变声音的自然特性,导致失真。
2)
3)
4)
5)
6)
对于其中提到的听觉方面的功能的不足,听力损失者在外周和中枢听觉系统有不同程度的退化。外周听觉系统部分主要是受到耳蜗声音处理在灵敏度和动态范围、频率选择性和非线性处理能力的退化的影响,而这些退化不能够通过助听器放大压缩算法得到足够的补偿。需要研发人员在技术设计中进行权衡取舍,例如:听觉感知高度依赖于声音的动态范围,然而基于多通道的动态范围压缩,在补偿听阈的同时降低了动态范围,其中通道数太少和太多可能都有缺点。
由于以及上述局限性,助听器用户与正常听力者相比,听觉效果是有差距的,但是助听器研发过程中需要对这种差距在各个维度上进行精确的测量和分析,以便更好的进行技术改进。尤其是对于中国用户来说,所采用的语言与西方语言有很大的差异,需要与语音学和语言学结合开展大量的语料开发、实验研究、临床应用。
4、哪个助听器更好:不确定
对于这个提问,我们还不能简单给出答案,因为我们还没有一个明确的标准来衡量助听器的“好”和“不好”。如果标准是与正常听力者相比,那么助听器可能永远都不够好,这是打击研发人员积极性的;但是,现在的助听器是否已经达到了理论上可以达到的最佳水平,这个问题还有待进一步的研究,也就是需要构建一个合理的目标。
在回答本报告的标题的提问之前,我们可以构建一个更合理的、更可能实现的目标:助听器A和助听器B,哪个更好?即便是经验非常丰富的验配师,也很难给出一个绝对的答案。这种对比可能出现在不同的助听器品牌之间,也可能出现在同一个品牌的不同产品之间,或者同一个产品的不同技术选项之间。由于助听器的功能和性能是多维度的,声音的呈现和感知又依赖于时间,不同的用户对不同的功能和性能的需求也是不同的,在有限的验配时间内,验配师和用户都不能给出准确的答案。
除了在实验室中对有限的受试者进行测试外, Bannon等(2023)通过线上调查的方式开展了大规模(n=2109)的助听器收益(Benefit)和满意度(Satisfaction)调查[7]{2}。该文关注到听力学(例如助听器经验、听力损失时长、自诉听力困难等)和非听力学(例如年龄、性别、收入、工作状态等个人基础信息,设备相关因素,听力服务提供因素,经济因素等)的多种因素都会多这两方面的主观反馈产生影响。该研究的结果和结论总体上不出乎意料。我这里主要引用它结论的第二句话:“Professionals who fit hearing aids should strive to focus on achieving these outcomes and researchers should strive to explain the remaining variability in ratings of benefit and satisfaction.” 大致意思就是说,助听器验配师应该努力提高助听器的效果,研究人员应该努力去解释剩下的助听器效果和满意度的可变性。
5、人工耳蜗研究对助听器研究的启发
5.1 全球论文发表数量
人工耳蜗(cochlear implant)比助听器(Hearing aid)的历史更短,但是包含这两个关键词的论文显示(图2),人工耳蜗的论文数量在上世纪九十年代早中期开始高速增长,逐渐远高于助听器论文,达到2倍以上。当然其中不排除关键词设定的影响,但是这个趋势是明显的。而在2021年后人工耳蜗和助听器的研究都出现小幅缓慢下降,估计是受到了新冠疫情的影响。人工耳蜗公司通常会设计一定的研究工具[8],提供给研究者,例如Cochlear公司提供的Nic平台,美国UTD大学提供的CCiMobile研究平台(目前也只是支持Cochlear产品)[9]。另外,人工耳蜗研究者也会自行设计一些仿真工具[10],例如我们设计的基于高斯包络短音的仿真声码器[11]。这些研究工具的设计和使用,对于人工耳蜗研究有极大推动作用,也为助听器研究提供了一些启示。
图2: 论文中包含“人工耳蜗(蓝色)”和“助听器(黄色)”的论文数量。数据来源:Pubmed (2024年6月15日)。
5.2 人工耳蜗是否足够好?
人工耳蜗是否也存在本报告标题提出的问题呢?有过之而无不及!
在产品层面,人工耳蜗市场由国外三家品牌(Cochlear、MED-EL、AB)主导,近年来国产品牌(以诺尔康为代表)也逐渐进入市场。从品牌数量来说,人工耳蜗需要手术植入,属于第三类医疗器械;而助听器不需要手术,属于第二类医疗器械,广义上还包含各类具有辅听功能的产品;人工耳蜗的品牌数量远少于助听器。从数量角度来看,也许读者可能认为人工耳蜗的对比会更容易,但是由于人工耳蜗需要手术植入,导致更难以开展对比,尤其是几乎不能开展有效的被试对象内(within-subjects)比较,即在相同的耳中切换使用不同设备。
对于人工耳蜗公司,从它们对基于论文发表的基础研究来说,是比较努力的,但是在技术层面的更新迭代速度似乎比较慢。近十年,随着助听器公司和人工耳蜗公司的融合或合作,助听器中发展的先进的信号预处理技术才开始逐渐融入人工耳蜗产品;在电极设计、隐蔽性、功耗等严重影响用户收益或满意度的方面,相比于其他相关领域(例如脑机接口、人工智能、材料学等)日新月异的发展速度(从技术论文的更新和迭代的速度来体现),显得过于缓慢。
人工耳蜗技术进步缓慢的另一个重要原因就是人工耳蜗产品性能的评价方面的不足。目前,在所有第三方发表的关于人工耳蜗对比的研究论文中,都不会明确讨论品牌之间存在的差异,这受到植入者间个体差异大、受试者数目少、产品技术细节保密等诸多因素等限制。从临床实践来看,人工耳蜗的手术医生、调机听力师、康复老师虽然可以接触大量植入者,但是康复效果对比的长期临床数据收集和分析工作,尤其是结合足够多的技术讨论的工作,却很少见。这种现象在助听器领域也是普遍存在的。
5.3 若干具体启发漫谈
不同的人工耳蜗采用不同信号处理策略,不同的助听器也可能使用不同的处方公式;信号处理策略和处方公式都涉及到动态范围的压缩映射。Dillon(2012)[12]中讲到“对于非线性助听器,所有现有的处方方法都包括某种正常化阈上响度的方面。几种方法(LGOB、IHAFF、DSLm[i/o]曲线型、CAMREST和FIG6)旨在使所有频率的响度正常化(即助听器放大后患者接收的响度应与正常听力者的响度感觉一致),至少对于高于助听器压缩阈值的声音是这样。其他方法在某些方面有所不同。ScalAdapt减少低频声音的响度;CAM2和NAL-NL2仅正常化总体响度。CAM2旨在平衡不同频率区域对响度的贡献,而NAL-NL2则旨在达到能最大化计算语音可懂度的频率感知水平。随着每个公式的修订,它们的处方变得更加相似,但显著的差异仍然存在。”从目前的文献来看,没有充分的证据表明,哪种处方公式一定更优于另外一个。在人工耳蜗的信号处理策略对比中也有类似的现象,例如ACE策略、FSP策略、HighRes策略,它们所产生的电刺激信号图(即电极图)见图3。
图3:三种不同的人工耳蜗信号处理策略处理同一句语音时产生的电刺激图。
不同的品牌都会提出各自的策略以及不同的具体实现方法。对于“策略”(Strategy)这个名词的使用,我认为它可能不只包含算法的含义,而是包括了对整个人工耳蜗的设计,包括硬件和软件。虽然这些策略在处理相同语音时可能表现出很大的差异,但是暂时没有证据来充分证明孰优孰劣。其中非常重要的限制因素来自于人的学习和适应,或者说是大脑的可塑性。Dillon(2012)[12]也提到对于每个处方公式,使用经验的增加是如何影响处方公式的效果也是当时的难题,我想现在依然是不确定的。
另外,大部分常用的人工耳蜗的信号处理策略和助听器的处方公式都是基于西方语言进行验证优化得到的。是否需要针对汉语语音进行专门的优化?
1.声调编码:在人工耳蜗中,初步有一些工作表明汉语声调在人工耳蜗中可能需要专门的增强编码,例如诺尔康人工耳蜗的C-Tone策略[13],科利耳人工耳蜗的OPAL策略[14]。之所以人工耳蜗需要专门的声调编码,是因为人工耳蜗不能准确编码音高(pitch)信息,而声调主要是通过音高随时间的变化来区分的。然而,助听器用户都是有残余可用声听力的,且通常来说低频听力会比高频更好,这些残留的听力(尤其是低频部分)已经可以对音高信息进行准确的编码,因此从这个意义上来说,助听器用户可能不需要专门的声调编码。
2.频带增益:虽然有研究探究了英语和汉语中不同频带的声音对正常听力者的贡献度(即Frequency Importance Function (FIF)[15])存在一些细微差异,但是暂时没有证据支持在人工耳蜗或助听器中需要针对汉语或英语在频带增益设置上进行区别对待。
6、评价标准:参照国际顶级学术期刊标准
下面我也把在Pubmed中的作者单位中包含“中国”的人工耳蜗和助听器的论文数量进行了简单统计,如图4所示。从人工耳蜗和助听器的对比来看,人工耳蜗论文也是远多于助听器论文。但是如果跟图2中的全球趋势对比,我国的论文数量占比过低,人工耳蜗和助听器的最高峰仅分别为60和30篇左右,远低于全球的1000和500篇左右。这与我们印象中的中国在各领域的学术发表数量相比,显得有些不协调。这也说明了中国在人工耳蜗和助听器领域的研究还有很大的提升空间。
图4: 论文中包含“人工耳蜗(蓝色)”和“助听器(黄色)”且作者单位中包含“中国”的论文数量。数据来源:Pubmed (2024年6月15日,搜索指令:("cochlear implant") AND (China[Affiliation]);("heairng aid") AND (China[Affiliation]))。
为什么我们要强调学术论文发表的重要性,尤其是在小同行的同行评议期刊的发表?一方面,通常来讲同行评议期刊的发表是对研究工作的一种权威认可,是对研究工作的一种质量保证。另一方面,由于听力健康研究涉及到医学、生物、物理、工程、心理、社会等多个学科领域,且受限于各单位参与人员和投入资金的限制,很难在一个机构内完成内部审视。我观察到助听器和人工耳蜗厂家在宣传产品时,经常用语言来描述功能的优越性,但是缺少科学的实验数据支持。
以语音的AI研究领域为例,所有知名IT大厂都会在顶级学术会议(如ICASSP、Interspeech等)上发表自己的研究成果,这些成果也会被同行评议的国际学术期刊(如IEEE/ACM Transactions on Audio, Speech, and Language Processing)接受发表。这些研究成果的发表,不仅是对公司研发实力的一种展示,也是对公司研发实力的一种检验。在听力健康领域,也应该有类似的机制。这些会议是全球的同行同台竞技的舞台,论文录用率在50%左右,期刊录用难度更大。
在人工听觉(人工耳蜗和助听器)和听力相关的技术领域,同行评议的主要国际学术期刊见表1。这些期刊记载了听力技术的主要发展脉络,是高质量学术交流的重要平台。
7、思考和倡议
基于本人的视角,提出以下思考和倡议,抛砖引玉:
为什么对于助听器和人工耳蜗的问题,有那么多不确定性?很重要的原因之一是缺少具有听力声学交叉背景的人才。对于技术开发者来说容易低估助听器的研发难度,这在层出不穷的助听器创业失败案例中可以看出。技术开发者应该充分重视听力学家、听力服务提供者和用户所积累的大量经验(这种经验可能是以各种形式呈现的,不限于论文、报告、经验分享等等)。听力服务相关人员也要加强对助听技术和心理与生理声学背后的科学概念和技术手段的本质学习和理解。
本学校《听力声学》课程的教学大纲简要目录如下:
1)声学基本概念和理论基础
2)听觉生理解剖与功能
3)声音感知1:响度和音高
4)心理声学实验1
5)声音感知2:音色、空间听觉、语音
6)心理声学实验2
7)临床听力学的常用技术和方法
8)临床听力学见习1
9)人工听觉技术基础和前沿研讨
10)临床听力学见习2
建议相关机构构建统一的助听器评价标准,包括测试语料、测试步骤、测试环境、测试设备等。这个标准应该是国际通用的(或符合国际科学规范的),但是也要考虑到中国的特殊情况,例如语言、文化、经济等方面的差异。
每个公司应该至少有一位核心研发人员,能够经常参与国际顶级学术期刊的投稿、审稿工作,参与国际学术会议的组织和交流。广告中的数据应该有学术支撑。
相比于“热门”方向,总体上来说,政府和民间资本都非常有限。高校、医院、听力机构、企业联合开展人才培养以及合作评估项目,把有限的分散的人力、物力、财力集中起来,形成合力。
8、结语
从生理和物理角度可以解释为什么助听器和人工耳蜗的效果总是有限的,相关知识可以归属于心理与生理声学的研究。助听器的确还不能令听力损失者完全恢复正常听力,但是它可以在一定程度上提高听力损失者的生活质量,这是我们努力的方向。其中有大量的个性化问题,涉及到生理、物理、心理、社会等诸多因素,需要听力学家、工程师、临床医生、康复师等多方面的合作。
随着助听市场的逐渐升温,我们非常迫切需要构建合理的助听器效果评价体系和方法,收集大量的数据,来支撑产品质量评估和研发方向的选择。这个体系应该是国际通用的,但是也要考虑到中国的特殊情况,例如语言、文化、经济等方面的差异。
图5:论文中包含“人工耳蜗(蓝色)”和“助听器”且作者单位中包含“中国”的论文数量和全球论文数量对比。数据来源:Pubmed (2024年6月15日)。
最后,回答题目的问题:为什么说助听器还不够好?上图的对比可以说明一定问题。我们呼吁大家用科学的数据来支撑产品的质量,而不是泛泛而谈的广告语。让我们期待更多的科学研究和合作,让助听器和人工耳蜗的效果更好,让听力损失者的生活更美好。
利益冲突
作者声明没有利益冲突,现在没有受到任何人工耳蜗或助听器企业的资助,也没有持有股份。
致谢
感谢郗昕教授的命题作文,感谢若干位听力学专家或助听器行业人员的访谈,感谢周华莉博士协助绘制图3。
References
[1] Nicholas A Lesica. “Why do hearing aids fail to restore normal auditory perception?” In: Trends in neurosciences 41.4 (2018), pp. 174–185.
[2] H. Zhou et al. “Effects of hearing loss and amplification on Mandarin consonant per- ception.” In: Interspeech 2023. Dublin, Ireland, Aug. 2023.
[3] 颜永红, 李军锋, and 应冬文. “语音中元音和辅音的听觉感知研究”. In: 应用声学 3
(2013), pp. 231–236.
[4] De Wet Swanepoel et al. “Comparing hearing aid outcomes in adults using over-the- counter and hearing care professional service delivery models”. In: American Journal of Audiology 32.2 (2023), pp. 314–322.
[5] Karina C De Sousa et al. “Effectiveness of an over-the-counter self-fitting hearing aid compared with an audiologist-fitted hearing aid: A randomized clinical trial”. In: JAMA Otolaryngology–Head & Neck Surgery 149.6 (2023), pp. 522–530.
[6] Andrew T Sabin et al. “Validation of a self-fitting method for over-the-counter hearing aids”. In: Trends in Hearing 24 (2020), p. 2331216519900589.
[7] Larissa Bannon et al. “Consumer survey on hearing aid benefit and satisfaction”. In: Journal of Speech, Language, and Hearing Research 66.4 (2023), pp. 1410–1427.
[8] Ruth Y Litovsky et al. “Use of research interfaces for psychophysical studies with cochlear-implant users”. In: Trends in hearing 21 (2017), p. 2331216517736464.
[9] Ria Ghosh and John HL Hansen. “Bilateral Cochlear Implant Processing of coding strategies with CCi-MOBILE, an open-source research platform”. In: IEEE/ACM trans- actions on audio, speech, and language processing (2023).
[10] Margaret Cychosz, Matthew B Winn, and Matthew J Goupell. “How to vocode: Us- ing channel vocoders for cochlear-implant research”. In: The Journal of the Acoustical Society of America 155.4 (2024), pp. 2407–2437.
[11] Qinglin Meng et al. “Pulsatile Gaussian-Enveloped Tones (GET) for cochlear-implant simulation”. In: Applied Acoustics 208 (2023), p. 109386.
[12] Harvey Dillon. Hearing Aids. 2nd. New York: Thieme Medical Publishers, 2012.
[13] Lichuan Ping et al. “Implementation and preliminary evaluation of ‘C-tone’: a novel algorithm to improve lexical tone recognition in Mandarin-speaking cochlear implant users”. In: Cochlear implants international 18.5 (2017), pp. 240–249.
[14] Andrew Vandali et al. “Evaluation of the optimized pitch and language strategy in cochlear implant recipients”. In: Ear and Hearing 40.3 (2019), pp. 555–567.
[15] Jing Chen, Qiang Huang, and Xihong Wu. “Frequency importance function of the speech intelligibility index for Mandarin Chinese”. In: Speech communication 83 (2016), pp. 94– 103.
厦门助听器-益耳助听器中心,真正近30年助听器验配经验,新手验配5000千名用户,世界六大品牌助听器应有尽有,自有店面稳定厦门助听器验配,欢迎前来免费咨询免费试听。
相关阅读:听力损失程度与助听器效果的关系