今年6月，京东一年一度的618店庆拉开帷幕。许多京东用户发现，在今年的618中，京东上线了全新的AI导购机器人JOY，它沿用了京东经典的机器狗形象，可以为用户解答618店庆相关问题。

　　面对京东用户们提出的各种各样的问题，JOY大多能给出令人满意的回答，甚至可以和用户闲聊扯家常。此外，JOY也强化了自己的多轮对话能力，以便应对用户的反复追问。

　　在京东JOY强大的对话能力中，基于开放域目标驱动的生成式对话服务来自于人工智能企业“深思考人工智能”（iDeepWise.ai）。其在多模态深度语义理解、人机对话等核心AI技术上已不断突破创新。这些新技术的不断迭代，也在一步步推动AI实现商业化落地。

　　AI人机对话在商业化落地中有很多场景，如智能客服、服务机器人、智能外呼、智能终端的交互、智能家居的交互、电视机语音交互遥控器等等。而这些人机交互场景背后的基础技术，就是人机对话技术，其中最核心，则是语义理解技术。

　　智能客服，可能是眼下最常见的人机对话场景。许多人对于AI对话能力的体验，也是从智能客服开始的。然而，如果智能客服欠缺语义理解技术，或者语义理解技术不够好，就会出现如下现象：

某平台的“智能客服”，无法理解用户的自然语言

　　以往，人机对话产品的回答策略大多基于“规则”，即在系统内提前录入指定关键词，一旦用户触发指定关键词，智能客服便会给出对应回复。

　　例如，在智能客服领域，当系统监测到用户的提问涉及“查快递”一词，就会自动给出物流信息。但面对“帮我看看我的快递到哪了”一类的复杂提问方式，智能客服便无能为力。

　　甚至，当用户询问“需要检查快递员身份吗”等问题时，同样会触发“查快递”一词。这时，系统甚至会给出南辕北辙的回答。

　　相比较上述人机对话的糟糕表现和体验，使用深思考深度语义理解与人机对话技术的产品，则体验和表现就相当优异，如下截图：

深思考机器人：可以了解用户的喜好个性化对话

深思考智慧营销机器人：根据历史上文信息，给出推荐

深思考AI问好医：AI学习医生知识后自动对健康咨询上下文回复

　　深思考iDeepwise将数据和AI模型驱动的深度语义理解及MRC技术作为人机对话产品的核心。其自研的多模态深度语义理解引擎依赖在NLG（自然语言生成）、MRC（机器阅读理解）以及DM（对话管理）等任务上的原理性创新，让AI能够读懂用户自然语言，并给出针对性的回复。

　　在精准理解用户意图的同时，深思考的多模态深度语义理解引擎还可以在对话中不断了解用户，了解用户的画像及个性化需求及兴趣，并基于用户画像与客户展开个性化的对话与推荐。

　　此外，它还可以根据场景，给予对话机器人不同的性格“人设”，让用户感觉到AI对话机器人服务独有的情感体验。这项黑科技可以赋予IP形象以“生命“，使IP形象成为虚拟世界里拥有不同“鲜活性格”的“AI虚拟人”，并体贴、关怀用户。

　　深度的多模态语义理解技术，也让深思考在AI人机对话领域形成了领先优势。据了解，2020年6月在中国中文信息学会（CIPS）和中国计算机学会（CCF）主办的中文语言理解的全球权威赛事“2020语言与智能技术竞赛”上，深思考在全球1000多家参与单位中脱颖而出，在机器评测指标和人工评估指标中均登顶榜首，获得全球冠军。

　　据了解，取得这一成绩，是因为深思考团队提出的“多源整合的解码器”的深度神经网络模型技术。该技术在AI人机对话上能流畅地引导用户交流，主动沟通，并和MRC机器阅读理解、用户画像、目标规划深度结合，适配多场景应用，可以迅速迁移多个场景。

　　深思考创始人杨志明博士表示，“腹有诗书气自华”，让系统不停地博览群书、阅读理解大量信息，才能使机器对内容“能理解会思考”，并实现自然流畅的人机交互。深思考多模态深度语义理解引擎iDeepwise。ai5.0目前也正式发布应用，5.0版本引擎能够阅读理解非结构化语音、视频、文本，试想让机器时刻不停地阅读理解互联网上的语音、视频和文本后，机器就会变得更“聪明博学”，相信机器更理解人类的日子已经不远了。

　　深思考多模态深度语义理解与人机对话引擎iDeepwise。ai5.0可以应用于诸多落地场景：比如电商、银行、保险、智能终端（音箱、手机、车机、智慧屏）、游戏、虚拟偶像中。

　　“现在，感知阶段的人工智能走向认知人工智能是人工智能发展的必然阶段，多模态的深度语义理解是认知人工智能阶段中的关键核心。”深思考人工智能创始人杨志明博士对36氪表示。

　　何为多模态语义理解？简而言之，通俗化来讲就是让机器可以“看懂、听懂、读懂”。而深思考的人工智能多模态深度语义理解，就是让机器可以看懂视频图像，可以听懂语音，读懂文本等多模态非结构化信息背后的含义。

　　如何让机器能够阅读理解？这就依赖机器阅读理解技术（MRC），在MRC领域，深思考同样成果斐然。在2019年的中文机器阅读理解竞赛中，深思考凭借着自研的BMANet2.0模型，在2502家知名学术科研机构和企业团队中脱颖而出，刷新了SOTA记录，并在两项评测指标中均登顶榜首，获得全球冠军。

　　例如，在电商场景，传统的电商智能客服，需要系统开发商人工整理大量问答对、知识图谱、知识库或规则，并通过问答对匹配、规则匹配，实现人机对话。使用MRC技术后，系统就可以直接阅读理解商品的说明书，极大地提高了效率，减少了人力成本，并大大提高了智能客服的“智商”。

　　目前，产业界普遍认为，多模态语义理解将会成为AI在各行各业实现大规模商业落地的重要基础设施。这一逻辑背后的原因非常简单——现实世界本身就是多模态的。“就像你去医院看病，医生要望闻问切，对患者各种模态的状况进行检查（比如血、尿，体温，MR，详细咨询病情等），不能只凭线上聊天的几行文字就做出诊断。”

　　多模态语义理解具备了同时多种模态信息进行深度理解的能力，所以适配的应用场景就更广泛，因为现实中的场景都是多模态的。例如，在医疗场景，医生会对就诊病人“望闻问切”；电商场景，用户会在咨询时发来语音或图片或文本；在线教育场景，学生总是期待老师能够通过视频、音频和解说文字来教学，通过图文并茂实现更好的教学效果。就连人类的社交场景也是多模态的，人们总是期望能见面详谈，能面对面看到对方的样子、姿态、表情、声音，并通过对话、声音、视觉等多种模态信息，理解对方的意图。

　　人工智能多模态语义理解存在着广阔的商业前景，并有望成为AI行业的新基建。

　　凭借着在人机对话、机器阅读理解、多模态语义理解领域的技术积累，深思考已在智慧医疗、智慧生活、智慧商业三大AI场景成熟应用落地，并基于其iDeepWise5.0多模态深度语义理解引擎的技术优势，不断快速适配更多应用场景，在虚拟偶像、二次元平台、游戏等领域不断开疆拓土。让机器更理解人类，未来可期，也是深思考的未来不断探寻之路。