数据管理之道--数据管控治理（西安站）
2014-11-28 11:41:40   评论：0 点击：

　　随着中国金融市场的快速发展，互联网金融对传统金融行业的竞争，以及监管力度的不断加强，IT咨询服务公司对金融企业的商业智能方案也面临不断创新。如何提升金融机构在管理、盈利、风险控等多方位的能力？如何将国际经验更好的为中国市场服务？如何通过解决方案将海量数据转化为对经营决策有价值的信息之路？如何将客户智能分析成果行之有效地运用于服务渠道，并最终转换为销售业绩？为解决中国金融机构在发展中所面临的新问题，文思海辉在西安、苏州、北京、成都、深圳五地举办了6场“乘数据之舟，达价值彼岸”系列活动。

　　在主题为“乘数据之舟，达价值彼岸”的文思海辉商业智能解决方案系列研讨会西安站现场，文思海辉商业智能事业部副总裁贾丕星做了“数据管理之道--数据管控治理”主题演讲。

　　以下为演讲实录：

　　刚才啸争给大家分享了一些数据平台的建设，从我们的角度看，其实总结一下无非两个方向趋势，第一个方向和趋势数据平台沿着大数据轨迹在发展，我上周跟城商行有一个论坛，这周刚刚做完银监的论坛，其实在关于大数据引领整个数据领域的发展角度看问题，我们会发现其实大数据只是我们针对新兴产生形态的数据，不同类型的结构有了新的处理技术，而不是原来统一的技术对待它，而且大数据里面有一个点很重要，就是数据发生点既是它的分析点，数据被存储点也是它分析点，而不是数据存储下来再去逐步做分析，所以在这个过程中，其实对于传统银行企业来讲，我们更多是基于传统的数据架构做大数据技术的逐步补充，去补充和完善处理不同类型数据的技术能力，这是第一个趋势。

　　第二个趋势是数据管控治理，从2003年我们做民生银行的数据仓库，到2006、2007年我跟进了建行和工行的数据仓库建设，从那个点上会发现平台建设早于数据管控治理，因为那个时候只建平台，当发展到一定阶段时，会越来越多的意识到实际上会有很多数据质量问题导致了数据应有价值的产生，因此回过头来在2007、2008面我们开始跟大行谈数据管控治理体系，这个体系怎么被推到一个高度，其实是在2009年和2010年人民银行推动了集中标准化工程，从2012年左右人民银行开始起动金融标准化工程以及整个十二五规划里面的银行标准检查，开始要求各个商业银行构建自身的数据管控体系，因此有了数据管控解决方案，在这两年被快速的推动和发展的过程。

　　其实在这个推动过程中，因为我们是2007、2008年开始研讨数据管控领域的知识体系框架跟商业银行做解决方案的对接，所以我们有很多小的教训点，今天其实半个小时的时间，我也没办法把整个数据管控治理解决方案讲的特别透彻，但是一定要讲一些关键点，我们如何看待数据管控治理的关键点。

　　刚才讲了全行业推动数据管控治理，今年年初人民银行找我聊了一次，说南海副总理去人民银行检查的时候给了一个口号，说要由人民银行牵头做一行三会的协同监管，这个时候其实四家机构都抓瞎了，为什么？因为他们自身的数据整合做的不好，更不要谈一行三会协同的监管，所以在这个点上，我们会发现人民银行还在全力推金融标准化工程，今天早上我接到一个电话，说银监会要求行业协会组织去论证行业及大数据平台的构建，证监会从今年年初开始做大的行业监管数据平台，才启动行业及数据模型和数据标准的梳理，下周被约了一场去保险行业协会下面的信息公司去谈保险业的行业数据整合事情，所以这个时候你会发现，当监管机构对管理信息的上收，面向风险和监控领域的数据的上收有要求的情况下，其实各个商业银行会被要求，所以我们讲第一块要求完全来自于监管部门，而且这个推动的力度，在未来相当长一段时间内会非常非常大。

　　第二块是内部决策分析，商业银行的内部决策分析确确实实遇到了很多问题，我们做CRM的时候，无法做客户的整合，我们做管理会计时，找不到那些所有分摊规则的被搭建的关系，也就是这个交易通过什么渠道发生，哪个系统支撑，这些关系我们没有，我们怎么做费用分摊呢？做不到。风险领域做计量的时候，早期给工行做平台，整个企业财务报表里面，对客户录入的前三财务报表很多信息是错误的，不真实的，包括表间的勾兑关系都不匹配，你怎么能做对功课呢？因为你拿不到他准确的资产负债比和偿还率，这是最基本的指标。我们在这个领域里面，确确实实也遇到了很多问题。

　　第三个领域是系统建设，系统领域确确实实大规模在做，而且很多城商行现在开始考虑新一代核心系统的构建，也有一些银行在走，走在前面，但是回过头来看，股份制层面在做这个过程中有什么样的体会，会发现真正系统是推上去了，成立了产品工厂费用工厂类似于这种概念的定义，但是产品真的被定义出来了吗？上了一个新核心，真正的解决了与系统之间功用代码一致性的问题吗？我们在推动新一代核心建设之前，我们针对自己数据在产生点应该被规范化的诉求，是不是可以，其实都没有，因此我们会发现，当我们系统建好之后，无论是数据移型还是后续业务又产生了新的数据，放到数据平台里面还是不满足统计分析的诉求。

　　所以在这种情况下其实我们认为数据管控治理体系是应该被做，数据管控治理理论上是软科学，是属于管理学科和信息学科的交叉学科，这个东西我们为什么把它这两个点都放在前面，确确实实是我们整个解决方案最重要的两步，但是我们一般在讲这两个解决方案时，都很难为什么？因为我们讲书记平台构建也好，数据管控治理体系也好，都属于企业的基础建设，所谓基础建设就是没有最晚，只有更晚，我随时启动都可以，我越启动前面留下来的历史包袱越重，但是我当时不启动也没问题，每一个应用都可以基于原系统直接抽出去建设，都可以，所以这个数据管控治理是一个管理类的学科，它是一个基础性的工作，因此不是太好做。

　　在这个领域我刚才讲了我们的业务拓展，在这个领域里面有一个比较好的最佳实践是广东发展银行，他们也是多次受银监会表彰的一家企业，在这个领域，他们记材上面成立了专门的数据管控部门，数据管理中心，我们从2010年跟他做合作，从前期的管控咨询开始，去构建数据管控的组织架构和流程，到数据标准一期的定义，一般商业银行在数据标准一期里面都会选择客户公众代码这样的主题，当然另外一些主题也可以被选择，到二期数据标准的咨询。

　　然后我们帮他构建了基于原数据管理，数据质量管理，数据标准管理，数据需求管理一维一体整合在一起的数据管理平台，去支撑上面定义的组织流程的实现，到后续我们从2012年6月份开始启动数据专项治理，到目前为止我们长期有一个团队帮广发做一项一项数据质量问题原因的分析以及治理推动，这四件事情构成了我们在广发在数据管控领域的最佳实践，我们目前在其它银行推动的这个领域最佳实践也是沿着这个思路做的，也是由前面三个体系的打造去支持最后一件事情。

　　当然我们谈到数据管控治理的时候，先谈第一件事情，就是管控的组织架构体系，对于一个国家来讲，社会来讲，政府机构部门来讲，我们要把环境治理的非常好，其实有的是像环保局这儿一个政府组织机构，它承担的是环境领域的综合体系的评价以及一个一个环境治理项目的推动，同时它还要达到针对持续性的监测以及后续防范的体系，也就是对我们看数据的角度来讲，跟环境治理是一模一样的，我们希望有的是前期的综合评价，组织架构的梳理和流程的梳理，推动一件一件事情，同时也要做一个长期监控的体系，以及防范与未然的体系，因此我们构建管控的组织架构有点像管理类的职能部门，从管控被咨询的组织架构角度讲，整个管控咨询我们沿着关于数据管控类的组织框架，这个里面首先我们会定义数据管控的目标和原则，大家知道这两天开四中全会法治社会，包括这两天我也特别喜欢看一本书，看一个电影，那个电视叫《大秦帝国》其实它谈的商鞅变法的第一步是法治。

　　这次四中全会里面有一句话“宪法为纲要”，也就是我们做数据管控治理首先要定义的也是我们的纲要，就是我们做数据管控治理的目标是什么，我们的战略规划以及原则是什么，接下来要构建的其实是多维度的数据管控体系，我们先看这两个角度，其实它谈的就是中国人理论上讲的三定，定组织，定岗位，定职能，这一部分是我们说的整个活动环节的定义，制度与流程，有了这部分定义以外，接下来就是工具支撑以及在管控领域要用同业的最佳实践，告诉你别人是怎么做这件事情的，我们应该借鉴别人好的地方，吸取他的教训。所以这是管控咨询的一些基本框架。

　　然后我们再来看管控组织架构的思考，管控组织架构我们在很多次跟大家讲的过程中，数据管控绝对不是科技部门一方的事情，也不是记财一方的事情，我们希望管控有层次化的组织架构体系，这个组织架构体系要有整体的治理委员会，要协同业务、科技、运营管理多部门能力的管控委员的构建，中间要有实体化的部门，下面应该有具体的每一个岗位职能的设定。这是一个管控组织架构案例的参考，大家每家企业针对自身的管控组织架构定义出来，跟另外一家企业会有差异性，我们通常来看国内企业在管控组织架构设立里面，无非三种模式，一个科技下面的独立二级部门，一个是记财下面的二级部门，还有中间一个一级部门，这三种模式各也利弊，应该根据每个企业历史上的一些延续特征选择性的构建，但是你要讲实际来说，数据管控既不是纯技术的事，更不是纯业务的事，它是一个技术和业务交叉，又有很多数据管理方法在里面的一件事情。

　　我们看第二部分方法流程和模板，我们在谈流程制度的时候，我们会这样思考问题，首先我们要想清楚这件事情怎么做，也就是方法论的问题，管理办法，包括数据在各个领域的管理办法，应该先讨论清楚，第二个管理流程和制度，依托以管理办法我们开始制定流程，管控流程，管控流程应该有一系列的技术规范和模板支持他做实现，所以这是制定整个数据管控流程的完整过程，包括这三部分，先谈方法，再定流程最后做实现。

　　但是这个里面我们也有一些教训，我跟国内某家股份制银行接触时，他们应该是四大帮他做了一个资讯，在这个里面遇到了一个很大的问题，他们前期梳理了一堆的管理办法，后期发现基本上都很难落地，因此在这个领域我从来不建议客户，你应该定义十个，八个管理办法，而是根据你当前在执行过程中最有问题的点制定一部分管理办法，沿着这些管理办法选择性的做推动，我们做事情的时候，永远花20%的力量解决80%通用性的问题，而不是花80%的经历解决20%最难解决的问题，所以管控从制度建设上有一个循序渐进的过程，只有把一个流程完完整整走顺了，才会发现其实每一个流程执行都挺难，因为站在中国人的立场上，管理的东西是需要协调的，需要大量的协调性工作，需要这个数据管理部门有协调技术和业务的全方面能力，这个真的不是一件很好做的事，所以在管控制定上一定不要追求量，而是追求质的问题。

　　这是一些样例我们就不再讲。接下来讲管控领域的三个最重要的概念，第一个概念数据标准，数据标准我们认为它是解决数据领域的度量衡的问题，换句话说我们说这个企业数据质量好与不好，其实有尺度衡量，我们做数据质量的治理最终也有目标，其实标准就是解决这个问题，是数据的度量衡，但是在这个里面讲一段话，什么叫度量衡，其实秦始皇统一了中国的度量衡，我们目前用的也不是秦始皇统一的度量衡，我们用的是国际颁布的一个标准，为什么在秦始皇那个点上制定的是中国范围内的度量衡，而我们用的是国际范围内，也就是标准其实在一定范围内被大家认可达成共识的东西，本身并不是标准，只是达成共识了，在银行定义数据标准的过程中，在于我们把技术和业务针对数据发生点它的真实的含义以及它应该具有的属性状态被定义出来，大家达成共识的过程。也就是说我们无论给任何一个企业定义数据标准很容易，为什么？把给别的企业定义好的样板拿过来给你，80%、90%可用，但是少了一个大家达成共识的过程，所以标准应该是咨询的产出，我随便拿一个东西你照样可用，但是推不下去，这是客户标准的样例，这个今天不展开讲了。

　　标准里面除了基础数据标准化以外，还有指标数据标准化，关于指标数据标准化，我们要强调一点，目前我们看到指标数据标准化，确确实实能够在银行的统一报表平台，统一监管报送体系还有面对机构的KPI管理，这些领域备用的一个点，所以这一块我们一般会构建指标体系去基于数据仓库支持指标的构件，依托于指标部去支持各个领域。

　　我们接下来看一下标准管理的系统实现，其实标准管理我们讲它是一个极其简单的系统，从开发上也不复杂，只解决一个问题，也就是我们定义完数据标准之后，我们需要有针对数据标准的增删改查的功能，然后我们定期要管理我们所定义好的数据标准在真实的系统里面被影射，在采纳，被使用的过程，所以这个东西就是标准管理平台该做的。

　　我们再看管控里面的下一个题目，就是千奇百怪的数据质量问题，我可以举行八个十个例子，但是产生的原因都不一样，比如我们最早帮光大银行定义为客户主题数据标准化的时候，关于客户被识别的三要素证件类别代码，证件号和姓名，其实在光大银行的十大个人系统里面，关于证件类别代码的定义都是不统一的，如何把这些东西能够统一做，有统一的定义被执行，支持你单一客户的整合，他只这一个代码的治理大概花了几十个人员的时间，这就是一个典型的数据质量问题。所以数据质量其实是特别不好解决的问题，等会儿我讲数据质量专项的时候大家会发现，依托于我们定义的数据管控的整体框架我们去推动数据质量治理的过程，其实是一个一个问题独立的被分析，找解决方案，推动治理的过程，这个需要做的是长效，这个里面我们会提两个点，第一个点关于数据质量的KPI，说数据质量会提一致性问题、准确性问题，及时性的问题，有效性的问题，这些所谓数据质量的一个个纬度，其实都可以被这个领域内的一系列数据质量规则去支撑，比如说我认为一致性的问题，我们垮系统之间的数据一致性，更多反应在主数据编码以及功用代码体系的一致性，我就可以把银行这个领域的一个一个的数据质量规则拿出来统计一个指标，这就是数据质量一致性的指标，这样的话我们可以构建一个数据质量的KPI，这是讲的第一，因为构建数据质量的KPI体系是量化你数据质量的过程。

　　第二点任何一个数据质量在被治理的过程中都应该有一个目标，当然标准是理想目标，但是你达到标准到底是70%就可以满足业务分析还是达到90%才能满足业务分析，这需要被定义，这是质量里面我们要关注的两个点。

　　这是我们在广发做的典型数据质量问题，大家可以看出来，基本上所有数据质量问题，包括检查出来的，还是银行统计出来的，都会沿着产生问题原因的分析治理的进展，包括错误代码录入的修复还有系统设计层面的问题，逐一的被分析和整治。

　　下面在谈管控领域的另外一个概念叫原数据管理，这解决什么问题？其实在企业里面解决两个问题，第一个问题是关于企业整体数据资产的信息浏览和查看的问题，也就是你每一类数据资产到底在哪儿如何被定义，如何被存储，可以由原数据来做管理，第二点解决整个数据加工链条管理的问题，从原系统的数据产生抽取加工实现报表，它有一个完整的数据链，加工链，这个链条应该被管理，因为原系统一旦发生改动之后，会对一系列的下游产生影响，而这个影响过程是持续性的，而且是长期大量存在的问题，我们跟很多商业银行一开始在构建数据平台的时候，都会谈一个问题，ODS特别辛苦，特别难，为什么？稍微不告诉我它变了，我们天天在生产上加班，修复，去改大的，去修复这些已经产生的，被加工过错误的数据质量问题，这是很平常的问题，然后他们被告知说我们上原数据管理，只要能上原数据管理这个问题就解了。

　　这个问题是不对的，为什么？不是不对，但是我认为欠妥，我个人的主张从来不建议一上来就上原数据管理，因为当你没有把企业及原始业务数据字典以及在加工过程中通过开发的规范化管理产生的原数据，被记录和被管理下来，你其实做原数据管理一点都无项，是因为你是可以构建一个平台，但是你没办法持续性的对它做管理。

　　所以我们在原数据管理领域里面，更愿意推动在构建的初期，我们做一些规范化的梳理，去约束你的数据字典定义，约束你的模型设计，约束你的影射，约束系统投产的过程，通过这个东西达到原数据原始产生点的一致性和规范性，然后等人工流程能够实现的情况下，我们再借助于系统，这样你原数据管理系统会走的特别顺畅，因此我们不要做前期马马虎虎上系统，然后把它扔掉，我们拍脑袋又说，说原数据其实压根没用，其实不是这么回事，我从2007年工行开始建原数据管理系统，首先构建的是数据仓的原数据管理，又跟他原系统企业级原数据管理做对接，去真正打造了企业级的原数据管理，而工行这个项目是2013年才拿出来去银监会银行体系评价，他走了多少年的路，而且我认为工行的IT领域在国内是走在最前面的。所以这个领域我们一定要尝试的是，管理制度流程和规范的梳理，先推动然后再构建系统，千万不要急于上系统，这是原数据的一些影响性分析和分析鉴定。

　　最后想强调一点是整个数据管控体系其实跟IT管控体系是不可剥离的，因为数据管控要依托于系统去实现，同时它要实现的是对你系统产生的管理过程，而这个系统其实是由IT管控体系去约束和控制，所以这两个体系其实不能剥离，而是应该逐步的走向融合，所以这是为什么我们讲有很多企业把数据管理部门构建在IT部门的原因，完全可以做，但是需要在业务管理上更好的对话，当然同样设立在业务部门内的数据管理部门，同样应该由科技管理岗跟科技事先有很多对接，而且坦帅的说早期的数据管控与治理有时候从科技角度逐步推动解决一些问题，从系统基础建设解决信息问题，反而会更加有效。

　　最后借助于刚才陈述的评估图，我把前面的东西跟大家做简单介绍。前面我们讲了平台建设、管控与治理，其实整个企业级数据治理，从数据仓库的构建这两个纬度来看问题，我们去看这条曲线它是如何定义的，这条曲线我们称为技术成熟度曲线，同时我们又把它叫做硅谷曲线，它讲的是一个技术当它被发现的时候，大家会疯狂的炒作，让它达到一个高度，当达到一定高度的时候，我们又开始冷下来了，我们去挤泡沫觉得这个技术没用，我们逐步再放弃，有些客户在这个过程说这个技术没用，我选择放弃，有些客户会沿着这个过程中坚持，坚持完了之后，其实这条走到这儿之后，逐步开始发挥作用，举一个典型的例子，早年我们在银行讲的SOA架构就经历过这个曲线的发展，因为SOA一开始提出来的时候，大规模的炒作，其实商业银行很多都没用，逐步不炒的时候，我们现在做系统构建过程中，是不是基本上都考虑SOA的架构呢？应该是这样，所以我们讲企业数据治理也好，还是那句话，它是两个基础工程，应该被坚持，基础性的工程都是前期投入大，产出小，后期你会逐步看到它产生的效果。

　　而且我们可以看到对两个东西的评价，他认为整个行业的技术成熟度在五到十年，其实按照我们的经验，这两个领域如果在一个企业真正发挥价值，让它IOA转向这里，而不是负的，应该也是有五到十年时间，当然我们需要站在更多的前任的肩膀上，依托于别人的积累，看看别人成功的经验以及别人失败的教训，我们走我们自己的路。谢谢大家。