由CTI论坛(www.ctiforum.com)主办的2017中国客户体验创新大会<http://www.ctiforum.com/expo/2017/awards2017/index.html>于9月14日在深圳益田威斯汀酒店盛大开幕，本次会议以"在联络中心数字化转型中抢得先机"为主题，北京神州泰岳软件股份有限公司AI大数据副总裁张瑞飞应邀出席此次会议并发表题为《无人值守智能客服中心》的主题演讲。张瑞飞介绍了泰岳无人客服方案，包括：智能机器人虚拟坐席，多轮会话，知识管理，语音质检，语义质检，场景化应用，智能IVR导航，工单机器学习，对接业务流程引擎及客服智能运维，以及同合作伙伴联合打造无人客服生态。

图：北京神州泰岳软件股份有限公司AI大数据副总裁张瑞飞
【演讲PPT下载pdf格式】

　　简单介绍参与研究的人员，我们给这些人员做一个致谢。首先是李生教授，他是咱们国内第一个获得国际ACL国际语言协会的终身成就奖的第一个科学家，是哈工大的党委书记。也是人工智能研究院的名誉院长，是我们的首席科学家。颜永红教授是Intel做人机界面的总架构师，是中科院的科学家，主要负责语言学和声学研究部分。赵庆卫教授是中科院声学所的研究员，推出的语音识别和语音上面具体的应用场景。晋耀红博士是我们人工智能研究院的院长，是原北京师范大学的博士生导师，他在语义里面曾经参与过HAC概念层次网络的语义研究，是当时跟着中科院的团队，是研究组的组长，提出一些不同的概念分词和语义分局的方法。我们把这个方法用在现在人工智能平台里面，去构建OEC平台。蒋宏飞博士是原来阿里做训练的训练小组的专家，他在我们这边负责小富机器人的开发。这是我们的核心研究团队。

　　无人值守的客服系统，传统的电话服务和无人值守的智能服务，我们想代替传统电话不足的地方，可能是用户体验和用户24小时接听电话的能力，他的感知和传统IVR繁琐的操作，我们想在其中优化的地方。我们想做智能客服，但是智能客服和无人值守的客服中心还是有一点不一样：1、智能客服没有办法有效解决口语标准化的问题。2、多轮会话的场景里面表现不好。3、不能对复杂逻辑和复杂的业务流程进行有效的诊断。4、缺乏语义纠错的能力。我们讲传统的智能客服只是在以前的客服里面部分注入人工智能的能力，并没有形成基于人工智能形成判断和形成虚拟座席的能力。

　　我们的设计原则：在客服中心问答的时候，我们想做到一步到位的精确语义理解。在进行人机智能会话的时候进行自由调整，人机会话，我们设想由机器和人进行互动和回答问题的时候，无论问题涉及其他的场景或者这个问题涉及到要办的业务，比如要办理一个房贷，买保险或者申请信用卡，无论什么样的业务，我们希望在会话的过程中进行自由跳转。智能问答除了渠道界面，更需要处理业务和保留历史记忆来进行多轮会话的能力，我们在这个能力上取得一定突破，才取得无人客服的概念。

　　无人客服并不是我们现在提得很新的话题，京东本身去年的时候开始尝试京东无人客服，我们这里讲和京东的区别，我们发现一些在银行或者是税务或者政府、企业里面应用的企业级客服重要需要的，不是消费型市场的客服中心需要的东西，比如我们的业务流程需要更强的定制，比如我们对个人的肖像需要更好的面向企业的管理，这是企业里面不同的，我们打造的是面向企业级大B的生产端的无人构成。技术架构，基于文本语义交互式引擎和智能语音交互式引擎，对语音系统和语义系统分别做解析。智能客服接入网关对各个业务进行各个接口，比如银行，存贷款、理财等等业务的流程接口。部署架构，我们通过语音PBX系统，进入IVR，在IVR对接无人值守客服系统，再生成语音，再和CTI系统进行交互。

　　这样的会话架构里面，我们需要能够进行智能交互的引擎结构，这个和传统机器人不一样，我们分五层：知识学习、知识引擎本身的建设、问答引擎、对话引擎、场景引擎，这里面分五层进行管理，所以它不再是我们单一的机器人，只是智能问答的交互引擎，是知识构建到最上层管理的完整功能。具体的组件，包括推荐学习、地图学习、闲聊学习、场景关联、碎片化的业务能力的架构和业务要素的了解，概念的理解以及会话历史和会话间的记忆，会话和场景的关联。这里面的能力有这样几个：1、我们如何进行相关意图的学习，有时候我们的人类自然问法背后隐藏的是概念化的语义表示，比如我们说能吃多少吃多少，能吃多少吃多少，重音不同意思不同。这是结合语音和语义一起做到的。2、知识加工，如何让机器人去学习到一个业务，我们以前做机器人智能问答的时候，有一个标准问答，对应一些答案，做出扩展。一个标准问对应1200个扩展问，这个概念在现在的无人值守的客服中心里面可能要颠覆掉，首先不能以问答来理解语义和用户的业务系统。我们要有入口告诉机器人怎么学会业务知识，然后我们构建业务框架的东西，在这上面通过跟机器人的会话，首先交给一个机器人业务知识。这是传统给人工座席的培训，当我的一个人工座席来的时候，我应该讲我的业务框架和业务要素，以前的机器人是没有的，只有问答，这个不够，所以把这个补起来了。3、我们对概念归一化的讲解，我们在尝试能不能直接把问题和答案自动匹配，在银行或者在特定的应用场景里面，我们让扩展问消失，这样机器人维护过程中，我们就可以基于纯粹的人工智能的语义技术来进行维护，这种场景到底可不可能发生，我们尝试做这样的场景。我们也做了测试，最近在上海银行，我们做了两轮：一是带扩展问测试。二是把所有扩展问删掉的测试，两轮测试效果都很好。4、话题站的管理，话题记忆管理和场景管理，后面分别说。

　　整个构成，无人值守的智能客服交互式架构，从知识学习到线下训练到线上的知识的发布，这是完整的框架。

　　技术特色，语音识别，我们做了几个特定功能：1、如何将连续的语音能够自动转换为文字，这里面主要用到的算法是大家看到的双向LSTM的深度学习神经网络的算法，利用这个算法我们把这个速度做到比国际开源软件快5倍以上，基于WFST的语音和语音特点和句法进行整合的识别技术。通过这个实现人机交互和人人交互，准确率分别是90%和80%，我们在单台服务器处理并发语音。人机交互是手机打电话是最常见的人机交互，我们的语音进入到手机，在手机里面进行识别。人人交互是通过电信的线路来进行语音识别，他们主要的区别在于对音质的线路损耗和后台处理算法的差别。

　　2、关键词的检索，对用户的敏感词、业务词、提供词和与说话人无关的词，还有支持电话、网络和互联网的自然语言的对话来进行关键词的检索，保证在讲话的时候，第一个是合规，第二个是在质检的时候有些使用。

　　3、通过对语音进行语音、语速、轻重音以及语音相关概念的层次分析，通过层次分析理解基本音频，以及语调之间的相关性，这是基于语音声学特征进行分析。

　　4、场景分割，我能够去定义语音的角色、场景的背景，可以把语音部分和人的身份去做自动的聚类，可以给出客服语音和用户语音相区分，即使在这两个语音相重叠的时候，客服正在回答问题，机器人正在回答问题，你好，请您按照步骤一、步骤二，这时候打断，客户语音进来了，他可以分出来客户的语音是什么、要点是什么，不会吧两个语音叠加在一起，造成含混不清。

　　语音引擎突出体现几个优势：1、语音的性能优势，首先准确率上能做到80%和90%，这是语音性能上的优势。当然我们在实验室里面有时候说这不一定是很高的数据结果或者大家都差不多的数据结果，是这样的。在语音识别里面，我想大家不会说哪家的语音识别的效率会特别高或者会特别低，比如科大讯飞特别高或者特别低，都不会。我觉得关键在于我们是不是有专家在优化，给企业级或者再一个领域里面优化企业的使用场景。当你的语音引擎在使用场景上进行一系列的优化之后，它的表现在应用里面的差异特别大，这时候这是语音上面和别人的差别，我们在应用的窄领域内去聚焦和投入，去做这样的语音引擎。

　　2、语音的抗噪性，对于语速的识别，准确率和语音的适应性上，都做了相关的学习和建模的技术。

　　为了配合无人职守的客服中心，语义上我们做了相关的提升，主要是三个方向：1、场景化；、多轮问答。3、业务本体建模。说白了是为了使得我们的智能问答的机器人更接近予人类的操作能力。它除了能够回答问题以外，它应该还能够去干活，能够做业务，能够进行系统的录入，甚至能够办理一些简单的业务流程或者能够提示或者能够进行推销。我们定义不同的业务场景，要能基于人类的一个问题，让机器有多轮问答，引导出它整个问题。第三个是机器人要了解业务，它要进行业务的建模。

　　场景，它等于业务框架+知识类型+交互方式，这就是我们实际上对场景基于语义管理的定义。我们知道一个用户有不同的业务类别，我们可以对应不同的场景。这些业务类别对用户而言，首先看到的是业务框架，对于学习的知识库而言，能够看到不同的业务框架下有不同的知识类型。在交互方式上也会看到机器人给他的表述方式是不同的，这个我们管它叫场景化。以前的机器人在过于单一的场景里面使用同一种方式，都是问答。有时候不是，营销的时候交互方式是更副文本一点，普通的时候可能交互方式适合简单的回答，这样一方面考虑机器的复杂和成本，也使得我们在不同场景下的使用变得更灵活，不同场景的答案不同。另外，以前过于强调单一的知识，这里面大家看到的FAQ的知识，像人类一样，我们有不同的知识，机器人也应该学习不同的知识。等下我举个海关的例子给大家讲列表型知识。通常我们进海关，仿真枪能不能带出海关？这时候机器人给的回答就是整个法规，一个海关的规范，但实际上如果人回答那就直接回答仿真枪不能带出海关就可以。这句话意思在列表知识型里面解析，如果以机器人不具备知识架构，永远做不到人类这样回答问题，就不能从列表中解析。这是我们想要求的让他办理业务或者做场景化所必备不同的知识能力。这三个我们叫场景定义。

　　场景定义下涉及到建模，定义一个场景怎么建模，这里面引入BOT建模的方式，通过BOT框架，通过它的底层自带的概念库来满足机器人在不同场景下的表现出不同角色的能力，这是BOT概念建模。BOT就是一个业务体系或者一个图谱或者就是一个多维度的业务树，都可以。这是用户很常见的BOT的拓普图。招商银行的业务划分，业务划分是像我们培训普通座席一样，有对公业务、个人业务。对公业务、个人业务再一级一级展开。这样可以告诉他，在机器的情况下，比如我个人业务里面信用卡，它包括什么，它的知识要点应该包括业务流程、业务划分等。机器人可以在相关类别情况下进行回答，二是它可以去推测你下一个问题可能是和什么相关的，就不会在所有的问题里面随意列举，而是在业务框架里面推测，这个思维是模仿人的思维进行的。我们人回答问题的时候也是这样，属于信用卡类，问了这个，我要找信用卡相关的，我们在BOT概念树的情况下进行分析，大家可以列为一个宽表对属性的穷举，这个概念展开可以非常宽。这里面列举了涉及BOT里面很多场景，不一一解释，它的意义是一样的。基于这个我们形成框架库，我给招商银行建立BOT场景，我就可以把领域定义为整个银行领域，这个框架我可以定义为银行哪类业务框架，基金办、概念型知识或者整个银行框架或者信用卡框架，我可以把业务领域和业务框架定义下来，结果是我到别的银行的时候就可以复用。比如我到长沙银行或者基金管理公司的时候，我可以把知识进行复用。基金办理的框架（见PPT）。

　　概念库，这是业务领域常涉及到的场景。这个概念不单单是以前定义的打语义标签的概念，应该还包括里面列举的，比如它的集合概念、同义概念、业务概念、敏感概念、纠错概念、停用概念、成长概念等，把复杂的概念进行处理，使我们在业务场景里，能使机器人应答更加灵活，可以更符合我去探访问题本质诉求的能力，我知道它应该从属概念的哪类，看到不同的概念进行答案的提取。在这个基础上我们再进行不同类型的知识加工，比如问答类知识，概念型知识，列表型知识和要素型知识等等。不同知识的特色，这是典型问答型知识，信用卡怎么办、信用卡如何办理，这就是问答型知识。概念型知识，信用卡主要通过访问什么方式办理，这里面提取的语义概念要素是信用卡办理，信用卡办理的方式、访问、网点等等，这些要素是被自动提取出来，提取出来以后，这句问话变得更加灵活，信用卡怎么办、信用卡该如何办理、我该如何办卡等等，这些内容将被列举成同一条知识。我们做过一个测试，刚才讲了银行里面一个基本问会对应1200个扩展问题，通过概念型知识加工，可以把问题的类别扩展类大大缩减，第一步缩减为几十条，几十条还不够，我们希望最后消除扩展问，我们拿到适当的语料训练之后，最终的目的是消除扩展问，让问题自动找答案，或者使用很少的扩展问，把机器人维护的工作降到最低，对机器人有知识的人知道它的维护工作有多复杂，大家看其他银行上线的机器人可能就会有体会。概念型知识，这是我们自动提炼出来的语义概念，信用卡办理等等。

　　要素型知识，典型的是刚才说的卖保险的问题，我要办一个保险或者买一张火车票等等这样的问题，后面包含一个要素，保险人是谁、年龄是多少、办什么样的保险，火车票是从哪儿到哪儿，哪一天，买什么样的座位、什么等级，这就是要素型知识。里面避免不了的话题是要给用户画他的历史肖像，以前的行为更喜欢什么样的，喜欢买一等座还是二等座还是喜欢坐票还是卧铺，这些是我们要给用户画像的能力。这要结合起来。列表型知识，我们通过对列表型知识进行加工的时候，我们可以把机器人的人机回答变化一下，例如仿真枪能不能带上飞机，这里说某某违禁品是违禁品，不可以带上飞机。这是从列表知识里面提取的答案，仿真枪能不能带上飞机？他告诉你仿真枪是违禁品，不能带上飞机。比如度秘搜索，他会回答整个公约，这不是客服想要的答案。

　　语义技术在这方面进行增强，一是场景化。二是业务建模。三是知识不同表示和知识加工。四是持续化的优化和服务的能力。

　　我们用了深度学习的算法，一是信息抽取和信息发现，主要是用在问题的识别上。现在的算法主要是两种，CNN的方式和LSTM的方式，在机器学习上学习情感表达和多轮会话的能力，这是用LSTM的算法来进行提取，它也用在答案自动生成和提取上，也用在实体提取和标注上，实体标注上我们对应的CRF等等，还有其他算法的组合。这样一些算法的提取，包括答案生成，我们用对抗学习的机制来自动模拟人类自然语言生成答案，这样的算法机制使我们完成了什么呢？我们说一个和以前的对比，以前我们在做语义标签的时候，我们自己的引擎是通过传统的机器学习算法构成的，我们做扩展的时候，我们怎么都做不灵活，我们在上海银行实际测试的时候，我们用这样的算法替掉原来的引擎，做两种引擎的对比，在没有扩展论的时候，机器应答的准确率和召回效果，和以前维护标准两百条扩展论问答效果差不多。

　　这是学习流程，结合用户画像当前提问和用户的历史提问，把这三个作为我们判别的数据源，通过我们对问题的处理，包括对概念的规划处理，对问题的分类，对信息的识别，最后拿出一个结构化的用户意图，是用JASON表示的，意味着我们的系统可以开放给所有人，只要用JSON进行编程的人，我们可以把引擎的意图开放给所有咱们在座的系统。语义识别的例子，帮我订一张明天从北京到上海的机票，最好不经常晚点的。我们得出的结论，这个人是高大伟，男，36岁，商务人士，经常拜访客户，经常携带藏刀、佛像等礼品。这就是他历史的画像，这是我们的数据链。加上他的问题，我们就输出这样的JSON格式，他要做机票预定从北京到上海，名字叫高大伟，36岁，商务认识，对航班准确率要求高，他要携带礼品。我们会把完整的JSON数据发放出来，可以结合数据源让机器人做后台的自动分析架构结合语义。

　　同时我们考虑对话栈的技术，像人一样，人是有记忆的，机器人回答问题的时候，最方便的回答是你带着机器人和人回答，比如我说，帮我推荐个信用卡？这个问题入栈，你问什么币种、什么职业。他又说，我想再问一下保险，他把你的问题打断了，说了一个其他的问题，机器人还是可以自动问答，你要什么险种、额度是什么，这个是话题的入栈，我把话题推到栈里面去。什么时候话题会出栈？一是话题中断。二是话题彻底解决完了。三是话题异常终止或者完美解决。如果不想买，他就知道。接着回到信用卡，他说，请问你什么职业？这是不是比较接近客服的自然响应。我们把话束记忆也加入机器人的多轮会话里面去。通过这个也可以做所谓的引擎算法热切换，第一种，传统语义标签的方式，通过语义标签的方式去减少机器人在语义和句式变化上对人需求的维护，减少这样的需求。二是基于深度学习的方式，基于深度学习的匹配，对两类内容进行匹配，一个是问题到问题，哪些问题是标准问，哪些是扩展问，问题到问题的自动匹配。二个是问题到答案，问题到答案的生成很新，我们正在做这方面的努力，也正在跟招商银行联合做这方面的研究，我们怎么从问题里面生成答案，这样我们既希望于最后能够脱离所有的扩展问。

　　我们看一个例子，传统语义标签的匹配方式，这个匹配方式做了语义优化。比我们以前看到的机器人好很多，大家可以看到几年前的机器人效果比这个还差。比如我说微信密码不记得，他回答的方式是我回答不了，小沪功力不足。微信密码丢了，微信密码不记得，其实是一回事。沪是上海银行实测的机器人，我们把语义标签去掉，换一个方式，热切换深度语义，这时候召回的问题，微信密码不记得，他会回答如果忘了微信密码，我可以推荐知识。最神奇的是说到微信密码丢的时候，还会推荐相关的其他类型的知识。这时候我们发现通过深度学习可以极大的提升机器人问题的维护和回答的能力。

　　场景应用，语音质检，语义质检，通过声音质检可能比较常见，语义质检大家可能看到的比较少，但是可以通过文字内容理解这个人的思维，判断他回答问题的合规性。潜客挖掘，贵金属结算卡在基金理财上，分别挖掘出不同的潜在的营销客户。这使呼叫中心从成本中心变成有可能盈利的利润中心。智能投诉管理的场景化应用，我们把投诉分成三类76级别，把它的机构来自于上级机构的投诉还是有哪些投诉的升级，把投诉分类进行划分。我们把整个客户中心的投诉看得非常清楚，我通过一张表，我们叫三元组云图，可以看到所有投诉里面最真实的投诉内容是什么，而不只是关键字。这是我们有些项目投标的时候正在做的，越来越多的银行提智能IVR语音导航，我们不再使用关键字，以前的方法是关键字，你可以说关键字，用户很多时候不说关键字，他直接希望智能客服来问他，请问有什么可以帮你？他直接说我信用卡丢了怎么挂失，然后你直接跳到菜单里面。这是我们倡导的，我们现在也在投一些银行的项目，我们也觉得越来越多的银行用户直接跟我们讲，到底机器人能替掉人工工作多少的比例，我们在这个方向上一直努力。

　　我们希望实现虚拟座席，我们通过客户的问题转接到虚拟座席，这个座席是给他普通座席和权限的，给他普通数据库的操作权限和访问权限，以及知识库的访问权限。首先它通过小沪机器人的引擎来做用户的意图理解和智能处理，实时去辨别知识类型和场景，同时也显示在我们人的客服的屏幕上，人类客服可以通过关键字做相应的跳转，进知识库和页面。我们把虚拟座席做成人的助理，而且某些情况下对固定流程、烦琐的流程、固定的问答方式，虚拟座席可以完全辅助人类化解，而且他们之间可以一键进行切换，机器人可以呼叫人，人也可以呼叫机器人，进行场景切换。

　　渠道是咱们讲的全渠道，不用通过任何渠道，网络、短信各种方式。我们最近研究一个有意思的渠道，通过VR的方式来实现一个机器人的渠道，这里面的场景我通过虚拟座席可以做什么，可以咨询银行的业务，可以进行意图的识别，做多轮会话。我可以进行营销的主动推送，或者推地图过去告诉你地点在哪里，我可以进行各种寒喧、聊天，大家可以在线上找我们的小沪试试，昨天有合作伙伴测试效果不错。我觉得电影不好看，小沪说我理解您很愤怒。说了一些很有意思的话，这不是你的错什么的。他们寒喧的能力比较强。它也可以做一些超时的处理，比如时间过长的时候，他可以知道提示电话要断掉，也可以做无缝转人工和人工和虚拟座席的互转，也可以做没听清楚问题的提示，也可以做一些帮助。包括用户的个人画像，我们的画像以前都是在大数据平台下打数据标签做出来的，这里面讲的是用户和实时绘画过程中自然加工出来的，完全不一样。我们做精准营销的画像，大部分来自历史画像，但是时间已经过去了，不是现在的用户行为。今天的用户行为是正在讲话的时候的画像，价值是不一样的。包括他的知识点建设。

　　虚拟座席的知识学习怎么做的？你怎么进一个人类知识告诉他？一是对现有学习知识学习、现有知识强化、新知识的发现。以前的机器人没有弹出过界面，我们现在把这个知识点可以做到普通人就可以加工和维护的场景，不需要懂人工智能的专业知识。知识特征我们可以做运维统计。系统的实施团队，技术上有三个团队负责，语义建模是张笑然领6个人的团队，语音训练是刘雪莲领10个木团队，接口开发是张青领20多人团队来做开发，这是技术支持和服务队伍。整个实施周期如果并行起来，在4-5个月可以把无人值守的客户中心建起来。大家看到这里面有些售后，从业务调研开始，然后到知识库的建立，一直到语义理解的系统功能，到链条测试到整体上线，大概是4-5个月时间就可以建立整个系统。这是实时服务体系，我们做的7×24小时保障。

　　案例，长沙银行的机器人在微信和Web客户端进行会话，这个机器人是我们前一个版本，没有用深度学习的样例，但是已经用了语义标签的样例，长沙银行整个维护的时间和维护周期非常短，整个实施周期控制在2个月左右的时间，整个机器人的知识建模已经做好。招商银行智能问答做的测试，这个测试是把小招85万个匹配不到的问题做了第二次答案，原来匹配不到的问题，小招一键转人工，这时候有大量人工工作量，后面又放一个机器人，发现85万个问题，我们召回60万个问题。棘轮是机器人无法回答的85万个问题，通过智能匹配，有60万个问题以90%+的准确率找到了答案。

　　我们通过二次匹配进行高知性运作，通过语义加工和深度学习的能力，去减少用户的人工维护。智能语音导航也要对接其他平台，比如GeneSys、Avaya、华为、中兴等等，这是我们做过的一些案例（见PPT）。广发做了机器人的语音质检，大家看一下它的应用，广发银行传统的人工调取的方法是效率比较低，成本比较高，而且它也面临很大的压力，通过上线以后，制止三千个座席规模的客服在基于大数据的基础上来实现自动的语音质检。红色体现出来客户价值，我们的覆盖率可以做到100%，对于业务热词可以自动统计，自动推送培训的内容，有95%的合规内容被发现，客服实时报检是可以做一些分析。现在广发也正在做一些关于语义质检和语义防欺诈的关联分析。比如广发办信用卡的时候，有很多人写地址是瞎写的地址，这个地址有可能是信用卡的欺诈行为。用常规的方法很难理解哪个地址是正确的，哪个是错误的，今天的威斯汀也有很多说法，可以说某路某号，也可以说威斯汀酒店，我们通过机器学习的方法来做地址归一化的校验，提出错误的地址，做防欺诈。重庆的案例，我们想做无人值守的客服中心，光有人工智能不够。我们应该用人工智能的能力连接一切。重庆交委做的例子，我们把数据用专门的数据平台连起来，把业务平台、开发平台、数据平台、运维平台、公共平台做起来，整个做成应用服务平台，这才是无人值守的客服中心。今天我们重点展开语音和语义两部分，后面只是给案例的方法给大家展示。

　　这是我们实际做的一些原子服务和原子组合，这是我们现场做的采访，做成业务图谱。

　　谢谢各位！