银行客户信息整合详解_银行_CRM

银行客户信息整合详解

2003/04/14

　　随着中国成功加入WTO，并逐步向国际社会开放自己的金融市场，将会有更多的国外商业银行进入中国金融市场。如何在国内国际的金融市场竞争中立于不败之地，并且稳步发展自己，关键在于能否有效地挖掘和利用已经建立起来的和潜在的客户资源。国内各商业银行都已经逐步建立起庞大的综合业务系统，主要应用于银行的交易处理和账户管理。这些系统中积累了大量的面向账户的交易数据，但是由于面向交易的系统往往以产品为中心，信息分散在不同系统中，缺乏对客户统一全面的了解，不能对账户背后的客户有直接全面的认识。

　　如果把各种客户相关数据采集、抽取、整合在一起，从中提取客户的交易习惯、利润贡献、资产负债变化趋势等等，就可以作为发现优质客户、向客户提供差别化服务的信息基础。同时，根据客户对银行产品的选择和使用情况，可以为正确的市场定位，发现最有商业价值的金融产品以提供数据支持。只有充分挖掘利用这些数据，才能使其成为真正的数据财富。

个人客户信息整合方案设计

　　面向客户的数据库设计

　　面向客户的数据库需要围绕客户的各种信息和交易行为信息进行设计。客户信息数据库中的各表以客户编码为关键字进行关联和管理，包含客户基本信息、相关客户信息、客户账户信息、客户交易信息、客户资产负债信息等数据表。

　　已有个人客户信息的整理

　　现有的交易系统都是面向账户服务的，数据表的设计都是围绕着账号进行关联，而客户信息散乱地存放在各个交易子系统中，既有重复也有不一致的。面向个人客户的交易系统一般包括储蓄系统、信用卡系统、个人贷款系统、住房公积金系统等，既有个人客户的基本信息，也有本外币账户、银行卡、贷款申请、还款等信息。账户情况、交易情况在不同的系统中存放的内容相对独立，而且数据的正确性可以保证，这些数据的整合主要是根据分析的类别分类抽取。而客户基本信息却是在各个系统中都有存放，整合的难度是最大的。

　　在不同的系统中，个人客户的基本信息有全面的（如个人贷款申请所留的资料），也有最有限的（如个人活期账户开立只需姓名和身份证号）。各系统的编码规则各不相同，如职务，可能按“厅局处科”这种方式编码，也可能按“董事长、总经理、经理”这种方式编码，甚至直接存入汉字信息。要将各系统中客户信息整合在一起需要进行大量仔细的核对工作，将不同系统中的数据合理地进行转换和清理。同时，不同系统中所存放的数据真实性、完整性也不尽相同，例如，虽然储蓄、信用卡、个贷等系统中都存有客户的通讯地址，但信用卡客户由于每月需要邮寄对账单，信用卡系统中存放的客户通讯地址往往是最为准确的。申请贷款的客户由于需要经过审批，其个人收入、单位状况等信息往往是最准确的。因此，对同一个客户在不同系统中存放的资料也需要进行认真分析，从中抽取最有效的信息。

　　数据对照关系的建立

　　我们需要从以往的各个交易子系统中抽取有价值的客户信息，并经过清洗转换到客户信息数据库中。针对客户信息数据库中每张数据表、每个数据字段，需要从原来的数据源中寻找对应的数据、设计转换的算法、建立对照关系。

数据抽取工具的选择

　　从多个交易数据库中抽取数据转换到客户信息数据库中需要进行大量的数据访问、计算和装载，选择强有力的工具可以大大提高开发和运行的效率。DataStage 是一个专业的ETL（抽取/转换/装载）工具，可以从多种不同数据源中进行数据抽取、转换和清洗，并根据需要将结果输出到目标数据库或文本文件。

　　逻辑架构

　　由图1可以看出DataStage既可以应用于多个数据库数据的抽取转换，也可以对普通的文本文件、HTML文件进行抽取转换，然后将转换后的数据直接装载到数据仓库中或产生新的普通文本文件等，便于客户以后对数据进行查询、分析、制作各种报表，并且进行数据挖掘。

　　图1 DataStage逻辑架构

　　常用设计简介

　　DataStage 提供给开发者非常直观的图形界面，开发者可以遵循一种工作流思考方式来选择数据源、目标数据与过程转换用的组件（Stages），并将之置于一个最初看起来像一个空格一样的“草稿表”模板上。Stage是包含了一定功能的组件，类型很多：作为数据源和目标的可以是各种数据库的连接，可以是文本文件或hash文件等；作为转换功能的可以是排序、聚类统计、数学运算等具有特殊功能的组件。设计者用一种叫做“链接”的箭头来连接这些具有代表性的图标，而这些箭头则阐明了运行开始后数据与元数据的流向。在创建DataStage任务时，用户可以在设计草图上添加注释、说明、标签或是其他可以添加给作业的描述性文字。DataStage使用图形方式建立表的查询、连接关系、排序和汇总运算。图2、图3是几种常用的设计模式：

　　图2 源数据和目标数据都直接操作数据库

　　数据抽取的实现

　　客户信息数据库中的各表以客户编码为关键字进行关联，客户编码是由客户的证件号码经过专门的算法计算产生的唯一客户标识。根据各个系统中客户数据与新系统客户信息的对照关系我们设计数据抽取转换的程序，如图4所示是一个DataStage的Job。

　　由于源数据量很大，从数据库中直接提取数据效率不高，我们采用先将数据卸载到文本文件中，再从文本中抽取数据进行处理。通过DataStage的Sequential File Stage可以连接一个指定路径的文本文件，在db1_tab1设定文件的存放位置、文件中分隔符、文件中每个字段的类型、长度和名称，即可以取得客户的证件号码、姓名、电话、职务职称等信息。这些信息需要进行一系列处理：计算客户编码，根据新编码规则进行代码转换，去掉非法字符等，在一个Transformer Stage Transform1中对各数据进行处理。

图3 源数据和目标数据直接操作文本文件

　　其中CreateKhbm函数是利用DataStage提供的函数开发环境编写的，目的是产生客户唯一标识客户编码。由于tab1中的身份证号字段存储的证件号码数据不规范，所以在CleanSfzh函数中，我们对不规范的证件号码进行清洗整理，产生规范的证件号码。证件类型（zjlx）由于在不同系统中编码定义不同，因此需要进行转换。通讯地址和邮编两个字段只对空值进行特殊处理。在这样一个Transformer Stage中只需用很少的代码即可以完成需要的数据处理。

　　由于不同的源数据中可能包含同一个客户的信息，因此采用Hashed File Stage HF_khjbxx存放输出结果，相同客户的信息根据客户编码覆盖前面产生的信息，避免了重复的客户信息。从不同源数据库取得客户信息，根据数据的真实性依次进行处理后，生成的客户信息全部保存在一个Hash文件中，最后从Hash文件中取出结果数据装载到目标数据库中。

图4 一个DataStage的Job

　　由于客户数据量很大，为了在不同的数据库中将大量的数据进行整合，数据处理效率十分重要。在实现中不直接操作数据库而使用文本文件的优势在于DataStage直接抽取文本文件数据的效率高于从数据库中抽取，DataStage访问数据库时需要通过ODBC连接相应的数据库Driver，连接上数据库后，从数据库中抽取部分数据存放于DataStage Server内存中，转换装载完后，再从数据库中抽取一部分数据，所以不适用于大数据量的抽取转换，而且不易于实现多进程同时执行。

　　对于大数据量的抽取转换（如1000万条记录），我们可以手工卸载成几个文本文件，放到DataStage Server上，DataStage在抽取转换时直接将文本文件内容装载到内存中，省去了连接数据库资源的消耗，并且可以同时执行几个Job（Job的设计可以重用），从而提高抽取转换效率。

　　在客户基本信息整合完成后，从不同系统将客户的账户数据抽取出来，客户的每个账户、账户类型、币种、状态、余额、积数、开户、销户情况全部整合在一起，建立起一套较为完整的客户总账。在此基础上，对客户的资产负债总量、分布情况可以汇总统计，每日对资产负债变化进行跟踪分析，可以全面地了解客户在银行的资产分布和变化状况。同时，从各交易系统中获得账户的交易情况，可以转换为客户的交易情况，分别统计不同时间段、不同交易地点、不同交易种类的客户交易，从而了解客户的交易习惯和喜好。客户信息整合后，不同角度、不同层面的客户分析可以全面展开。

　　结束语

　　目前，各个银行都已具有强大的面向账户的交易系统。真正要做到面向客户服务首先要建立完善的客户信息系统。放弃目前各系统中分散零乱的客户信息而从头积累客户信息是巨大的浪费，从分散的账务系统中抽取整合客户信息通过实践是完全可行的。只要设计一个科学的方法，采用有效的工具，完全可以在很短的时间内将有效的数据提炼出来，建立起拥有几百万客户的信息库。客户信息库不仅为客户服务提供了基础，更为客户分析创造了必要条件。

赛迪网中国信息化(industry.ccidnet.com)