1、基于人工标注的评价
基于问答知识库来回答的系统，回答能力受限于知识库的丰富程度，也就是说知识库对用户问题的覆盖率，覆盖率越高，准确性越高。
因此并非能回答用户的所有问题，系统最佳的状态是将能回答的全部回答准确，不能回答的全部拒识，即拒绝回答。
因此这里的评价指标包括有问题解决率、拒识率、召回率和准确率等，
召回率=机器人能回答的问题数/问题总数
准确率=机器人正确回答的问题数/问题总数
问题解决率=机器人成功解决的问题数/问题总数
拒识率=机器人未回答问题数/用户问题数
通过从每日的全量数据集中抽样出一个小数据集，保证小数据集的数据分布尽量符合全量数据集，然后由标注团队对数据集做标注，标注出每个问题的实际答案，一般标注完成后还有质检的环节，以保证标注结果尽量准确，这样便生成了每日数据的标准评测集。
2、基于用户反馈的评价
人工评价能够评价智能客服系统的准确率，但是答案是否合理，能否为用户解决问题，需要用户去反馈评价，整个智能客服系统的最终目标是帮助用户解决问题。
最终统计参评比例、满意度等指标，这些指标能够真正反应智能客服系统的好坏。实际中往往用户参评比例低，可以使用各种方法去刺激用户评价。
以上就是能够得到一个客服系统最真实好坏的方法。长沙朗深技术升级的智能客服系统在长久的实践中得到了广大用户的不断好评。如果你也有客服系统需要进行智能升级，朗深技术的呼叫中心智能升级套件是一个非常好的选择。只需要在原先的呼叫中心基础上利用呼叫中心套件，将智能呼叫中心功能添加进去即可。
