自动语音识别（ASR）无处不在，我们经常通过使用ASR技术的语音用户界面与虚拟助理、电子设备和软件应用程序进行交互。但更多时候，尽管ASR有了显着的改进，但当我们与这些智能设备和应用程序交互时，仍然感觉缺少了一个要素。ASR介导的互动和我们正常的人与人之间的交流有很大区别，因为当我们与其他人互动时，我们会考虑他们的情绪状态和表达，并相应地调整我们的反应、理解和行为。

　　人类的交流是丰富而复杂的。你可能听说过经常引用的7-38-55通讯规则。这个在20世纪60年代形成的公理声称，传达我们交流的意图和意义的重担不是语言而是非语言线索。根据这一点，实际说出的单词只占词义的7%；语音表达和语调占38%；其余的55%的词义是通过肢体语言传达的。

　　我要指出的是，这条规则在所分配的百分比方面还没有经受住科学的审查，但它仍然很流行，并且包含了一个真理的核心，即从言语模式中可以收集到重要的信息信号。不仅是“什么”而且“如何”也很重要。当同时考虑信息的语义和情感状态时，ASR技术的效果更好。

　　还要注意，我们这里的重点是语音情感识别，而不是通过使用情感标记注入语调和情感，使机器生成的语音听起来更像人。自动生成接近人类语音的真实语音是一个受欢迎但不同的话题。如果当前的许多ASR应用程序看起来过于机械化或不切实际，那可能是因为它们对我们所说的话的解释过于字面化，而对潜在的情感没有感觉。

　　语音情感识别有着广泛的应用领域，如下所述：

　　客户支持和员工健康：分析语音通话以确定客户的情绪状态可以更好地处理客户服务电话。例如，一个愤怒的客户可以被引导到一个受过训练的支持座席那里，以处理这种情况。一旦确定了情绪，软件就可以进行编程，为心烦意乱的客户定制一个对话脚本。

　　语音分析的座席谈话可以提供线索，他们的压力水平和情绪健康。对这些数据的时间序列分析可以识别客户行为模式、员工和团队激励水平的变化和趋势，以及其他可操作的见解。这些见解有助于提高员工敬业度和客户满意度。

　　冠状病毒大流行导致了前所未有的远程工作安排，这些安排会影响员工士气。基于SER的分析应用程序可以帮助组织评估员工如何应对这些新工作条件可能产生的孤立感。

　　医疗保健和辅助机器人：在疗养院和护理中心，为病人和老年人提供的伴侣机器人引起了很大的兴趣。这些机器人可以了解他们所帮助的用户的不同情绪状态，这将大大提高他们的接受度和采纳率。另一个用例涉及自闭症患者，他们很难识别与他们互动的人所表达的情感。SER应用程序可以提供单词背后的情感线索。

　　E-learning应用程序：在线学习期间，学生可以体验各种情绪状态，包括焦虑、困惑和无聊。关于学习者当前状态的输入，例如他们的兴趣水平，可以用来改变教学节奏，或者可以促进不同的教学风格；所有这些都有助于提高学生的参与度并导致更好的学习结果。

　　体育和电子游戏：SER可以通过分析评论和生成精彩片段，帮助识别体育游戏或比赛的关键时刻和激动人心的部分。用户通过佩戴数字化身来进行视频游戏，这些化身的表情和动作可以根据用户表达的情感进行修改，从而使游戏体验更具趣味性和吸引力。

　　这并不是一份详尽的清单。事实上，SER的用例可以在涉及语音的各种其他人机交互场景中找到。SER的基础是能够正确地推导出潜在的情绪，但这究竟是如何工作的？SER如何补充书面语篇的情感分析？挑战和限制是什么？

　　作为一个长达几十年的研究领域，SER有许多传统的技术，但我们也看到了新的深度学习方法的应用。人工智能和深度学习方法如何帮助我们提高SER？我们将在《语音技术》（Speech Technology）的春季版上探讨这些话题。

　　作者：Kashyap Kompella

　　原文网址：https://www.speechtechmag.com/Articles/Columns/Interact/Speech-Emotion-Recognition-The-Next-Step-in-the-User-Experience-145605.aspx