未来人工智能：通过倾听，告诉你该治病了

抑郁了吗？你有心脏病发作的危险吗？你开车时会打瞌睡吗？

……

人工智能有望通过倾听你的声音，来帮你弄清楚这些问题。

有一批企业、医疗机构和政府机构正在探索可以分析人的声音的新系统，以确定人的情绪、身心健康、甚至身高和体重。

有些呼叫中心已经使用该技术来标记对话中的问题。现在，基础研究员们正在测试声音作为一种发现精神和身体疾病的方法，企业也开始利用声音来审查求职者。

让上述所有这些变得可能的是：越来越强大的机器学习方法。

人工智能（以下简称AI）系统可以测量音调、语速和其他语音特征，并将它们与已识别为快乐、悲伤、疯狂或任何其他情绪的存储语音模式进行比较。

虽然语音分析科学已经发展了几十年，但更便宜的计算能力和谷歌TensorFlow等新的AI工具使得这些更雄心勃勃的项目成为可能。

如果与情绪AI或情感计算等计算机视觉技术结合使用，语音分析技术会更加强大。例如，汽车中的语音系统也许能判断驾驶员是否打哈欠，而视觉系统可以查看驾驶员是否正在打瞌睡。

研究公司 Gartner Inc. 认为情绪AI可能会应用到消费品中。Gartner预测，到2022年，10％的个人设备（现在不到1％）将带有情感AI功能，例如能够监控人的心理健康的可穿戴设备和适应用户心情的电子游戏等。

但情感AI必须克服一个很大的障碍才能成为主流：人们对它感到不舒服。在去年发布的调查结果中，Gartner报告称，美国和英国超过4,000名受访者中有52％表示他们不希望AI分析他们的面部表情，63％的受访者表示他们不希望AI不断倾听并了解他们。

消费者关心他们的隐私。大约三分之二（65％）的Gartner受访者认为AI会破坏他们的隐私。

“人们对AI一般都持怀疑态度，”Gartner分析师Annette Zimmermann说道，“谈到对AI的感受，这更加个人化，更有理由让人们产生怀疑。”

Zimmermann说，这些语音分析系统并不完美，最好的系统精度只有85％以上。

“这不完全准确，而且我们不知道是否会准确，“卡内基梅隆大学的科学家丽塔·辛格说，“但它越来越精确了。”

下面，我们就来看一下AI语音分析已经产生影响的领域以及它可能在未来产生影响的领域。

1、治疗精神疾病

根据美国精神卫生研究所（National Institute of Mental Health）的数据，在美国，抑郁症等精神疾病影响了五分之一的成年人，即2017年的4660万人，据估计只有一半的人接受了治疗。新兴的语音技术可能使这些疾病更容易被发现。

▲Source: RYAN OLBRYSH

去年底，从行为分析公司Cogito Corp.分拆出来的CompanionMx公司推出了名为Companion的心理健康移动监测系统。该工具是在美国国防高级研究计划局、美国退伍军人事务部和美国精神卫生研究所的共同资助下开发出来的。

使用CompanionMx系统，正在接受抑郁症、双相情感障碍和其他疾病治疗的患者们可以通过下载APP并在其智能手机上创建音频日志。这些患者们需要定期反馈他们的感受，并将信息自动传输到AI进行分析。

通过使用Cogito开发的情感AI技术，CompanionMX可以分析患者的声音以及某些行为数据，以了解情绪、情感或行为的变化。例如，CompanionMX监控智能手机活动，以查看患者是否中断了与其他人的联系；如果看护人员发现这类问题的迹象，他们可以主动联系患者。

美国精神卫生研究所对这项APP研究，资助了两年多的时间（2015年5月至2017年8月）。

“研究结果非常令人鼓舞，”该研究的联合首席研究员、布莱根妇女医院和哈佛医学院数字行为健康与信息学研究项目负责人David Ahern说。

Ahern先生说，该应用程序可以作为医护人员对患者的早期检测系统，这是一个急需的工具，因为许多需要治疗的人在他们的问题严重之前不会意识到它的存在。

2、抗击心脏病

根据美国疾病控制和预防中心（Centers for Disease Control and Prevention）的数据，每年有超过60万美国人死于心脏病。研究人员正在尝试使用语音AI来发现警告信号，并迅速为人们提供帮助。

梅奥诊所（Mayo Clinic）进行了为期两年的研究，该研究于2017年2月结束，以确定语音分析是否能够检测冠状动脉疾病。梅奥心血管研究中心主任Amir Lerman解释说，每个人的声音都有不同的频率可供分析。

梅奥诊所与语音AI公司Beyond Verbal合作，使用机器学习来识别冠状动脉疾病的特定声音生物标志物。然后，该诊所测试了计划进行血管造影的人群。

在这项研究中，每个人都在智能手机APP上录制他们的声音，交由Beyond Verbal分析。研究发现：在血管造影上有冠状动脉疾病证据的患者，也有该疾病的声音生物标志物。

Lerman博士表示，梅奥诊所希望在不久的将来部署该技术。“我认为这是一个令人惊叹的领域，为我们如何治疗患者打开了新的大门，”他说。

3、让司机保持清醒

根据美国国家公路交通安全管理局（National Highway Traffic Safety Administration）2017年10月的统计数据，2015年有超过800名美国人因驾驶时昏昏欲睡而死亡。

现在，许多大型汽车公司和AI公司正在研究使用语音分析和面部识别来评估驾驶员的警觉性和情绪状态。

4、你知道我在生气吗？

频谱图可用于分析说话者声音的特征。谐波（暗平行线）反映了说话者的音调和语调变化。

高情绪活动（第一张图）：线条的戏剧性运动反映了快速变化的语调。更暗的区域，代表更高的频率。

低情绪活动（第二张图）：较柔和、较平静的声音的谐波表现出较低的强度，特别是在较高频率下。

▲Source: Cogito

在去年的消费电子展（CES）上，丰田汽车展示了其Concept-i概念车，可以读取面部表情和语音。该车配备了转向柱上的红外摄像头、仪表板上的一对3D传感器以及车载语音识别和对话系统。

这一套系统可以评估驾驶员的状态。例如，头部下垂、塌陷的姿势、昏昏欲睡或低沉的声音、打哈欠的声音等，都表示打瞌睡的风险。

如果系统注意到这些困倦，它会对问题做出反应。

例如，汽车的语音助手可以与驾驶员进行对话以提高警觉。并且，随着时间的推移，汽车对话系统将知道哪些主题最有可能吸引驾驶员的注意力。

今年9月，两家人工智能公司，Affectiva和 Nuance Communications表示，他们将共同努力将情绪AI纳入Nuance的汽车会话助理，该助理可以理解并回应人的请求。

Nuance声称，目前Dragon Drive助手为道路上行驶的超过2亿辆汽车提供支持，其中包括奥迪，宝马，戴姆勒，菲亚特，福特，通用，现代和丰田等。

来自Affectiva和Nuance的新技术将使用摄像头来检测微笑等面部表情，使用麦克风来识别愤怒等的声音表达。然后，该公司使用深度学习算法、计算机视觉和语音技术来识别困倦的情绪和指标。

如果司机表现出疲惫的迹象，语音助理将通过简单的话来提醒驾驶员：“你似乎很累。你想休息一下吗？“

但根据Nuance首席技术官Joe Petro的说法，这些技术仍处于开发阶段，他们可能会在短短几年内上路。

5、人性化呼叫中心

根据Site Selection地产咨询服务集团的数据，尽管许多公司转向离岸客户服务业务，但美国仍有7,400个呼叫中心，员工人数超过300万。

其中一些公司，包括保险公司 Humana Inc.和 MetLife Inc.，已经部署了Cogito的AI软件，以此来提高代理商的敏锐度和客户的满意度。

这系统能够分析代理和客户之间的对话，实时跟踪他们的交互方式。

当呼叫进入中心时，对话将流式传输到Cogito的系统，该系统可评估数百个数据点 - 语速，音调等。如果代理人在回答问题之前暂停，可能表明他们分心了。如果客户提高他们的声音，这可能是一种沮丧的迹象。

当Cogito系统检测到呼叫可能出现问题时，它会以图标或短消息的形式向员工的屏幕发送通知，建议代理人识别并确认来电者的感受。

Cogito首席执行官Joshua Feast表示，该系统的主要目标是，引导代理商们更自信、更投入、更有同理心。“学会与不同的客户交流是一项真正的技能，” Feast先生说，“这不是天生的，你必须学习它。“

▲Source：Cogito

Cogito表示，其呼叫中心产品的准确性因其使用位置而异，例如客户服务中心、销售部门或理赔部门，以及它在每个领域中监控的行为。总体而言，该产品的平均准确率为82％。它通过人工评估呼叫结果、客户反馈和机器学习分析来验证结果。

据保险公司全球客户解决方案负责人Kristine Poznanski称，MetLife大约15个月前在其客户服务中心部署了Cogito的系统。

Cogito系统为客服代表提供有关呼叫和实时指导的即时反馈的同时，它还向管理人员显示呼叫状态。该数据允许中心的经理监控正在进行的呼叫，或者在座席结束后与座席一起审查呼叫。

Poznanski女士表示，自部署该系统以来，呼叫中心的首次通话分辨率和净推特分数均增加了10％，这可以追踪客户情绪，了解向客户推荐产品的可能性。

6、请合适的候选人

Robert Half国际公司表示，超过80％的企业主和经理认为他们雇用了错误的人。通常，问题是新员工难以适应企业文化。

Voicesense是基于语音的AI系统，它可以使求职者筛选更有效。

Voicesense首席执行官Yoav Degani表示，雇主将视频或音频访谈上传到Voicesense的云端，分析200个语音参数，如语调和节奏。该系统建立了针对求职者的气质、野心、可靠性和创造力以及其他特征的行为模型。

然后，雇主可以使用系统生成的分数来判断求职者是否与工作匹配良好。例如，如果一个组织希望雇用一名销售人员，那么该系统就会将一个高度积极参与对话的人视为可能的匹配。但Degani先生承认公司的模型提供的是概率而非确定性。

在隐私保护方面，Degani先生说，Voicesense不会存储任何数据，并且其工具不会分析会话内容，只会分析语音模式。

▲Source：Voicesense

AdventHealth Orlando是AdventHealth医疗保健系统的一部分，正在使用另一个分析系统HireVue来帮助其招聘工作。该组织在佛罗里达州中部拥有8家医院，员工超过25,000人，每年雇佣8,000名员工。AdventHealth的人力资源总监Karla Muniz表示，这意味着要审查超过350,000份申请。

满足基本工作要求的考生将被邀请使用HireVue进行在线面试，该算法会评估申请人对面试问题的回答，例如语调和单词聚类。它还结合视觉分析，检查称为微表情的非常快速的面部动作。

然后，将来自这些评估的信息与对应于每个作业的数据点进行匹配。获得高分的申请人将被要求接受下一轮面试。

自从使用HireVue以来，AdventHealth已经将招聘流程从42天减少到36天，Muniz女士说。

7、打击欺诈

保险公司Allianz-SP Slovakia正在使用Nemesysco的语音压力分析技术处理索赔。该工具可以获取人们对索赔处理程序提出的一组问题的反应，寻找标记的组合，例如当一个人说话时的微小停顿，这可能表明说话人正在提供虚假信息。

“目的是立即支付索赔，并防止任何类似欺诈的夸大索赔，” Allianz-SP Slovakia控制和特别活动负责人JaroslavaZemanová说。

语音分析并不能证明任何不当行为，这只是检测可能存在欺诈行为的第一阶段。要拒绝索赔，公司的调查团队需要额外的证据。尽管如此，该公司表示该系统正在节省时间和金钱。

8、调查犯罪

在某些情况下，语音分析不仅会生成有关某人健康或情绪状态的信息，还会生成有关其外观的信息。

2014年，美国海岸警卫队试图找到一个已经发出28次虚假呼救的人。对这些电话的紧急响应估计耗资500,000美元。

但海岸警卫队调查服务中心负责切萨皮克地区的特别代理人Marty Martinez说，“这不仅仅是成本，它转移了实际陷入困境的海员可用的资源。”

海岸警卫队的调查人员除紧急呼叫录音外几乎没其他证据，于是他们去拜访了卡内基梅隆大学的Singh女士，她一直致力于计算机语音识别。