您当前的位置是:  首页 > 新闻 > 文章精选 >
 首页 > 新闻 > 文章精选 >

如何应对数据分析最新的技术挑战?

2018-05-23 11:16:54   作者:   来源:CTI论坛   评论:0  点击:


  目前,中国很多企业已经认识到他们的数据是一个潜在的巨大商机,越来越多的公司将数据视为其企业经营的关键资产,而数据分析普遍被作为经营决策的前提要素,数据现在越来越成为企业战略决策的重要依据。
  用友云分析服务近期针对企业数据分析的关键技术及应用场景等推出了《分析云技术白皮书》,希望能帮助企业走出数据分析的盲区,实现数字经济时代的数据化管理与运营。我们将白皮书中的精彩内容进行总结,会分期与大家分享。本期重点分享数据分析所面临的技术挑战以及解决之道。如需完整白皮书,可通过文章末尾联系方式索取。
  企业数据分析应用趋势
  从企业对大数据分析系统的需求和利用的实际情况来看,让企业每个业务人员充分了解和利用他们的数据,自由释放数据潜能。基本上,企业对数据的需求我们认为分为三个阶段:初级阶段,业务流程通过信息化手段,从纸质化改造成电子化,企业通过数据告诉管理者,企业已经发生了什么?中级阶段,企业已经建立和完整的业务系统,管理者能够定期从信息中获取他所关心的企业数据,知道了企业正在发生了什么?高级阶段,企业不仅仅只是希望知道过去发生了什么以及为什么发生,还希望进一步预测未来会发生什么,以及如何做才能最大化优化资源配置,取得更好的成果。
  数据分析技术面临的挑战
  在日新月异且喜新厌旧的技术时代,企业已经认识到“数据 开始慢慢变成为了新的 “金子” 或者 “石油”,那么企业在数字化转型的浪潮中,如何通过大数据、云计算等先进的技术保驾护航?企业数据量从GB级增长到TB级,应用如何平滑演进?从数据仓库,到数据湖、数据共享平台,企业如何高效利用数字资产?这些都是企业在数字化转型过程中面临的问题。
  我们可以发现现有的数据处理技术都存在着一定的缺陷。
  早期应用的数据系统架构设计时,应用直接访问数据库系统,简单的存取数据就可以满足业务需求。但是,当用户访问量增加或是数据量不断增大时,从而导致数据库服务器无法及时响应用户请求,出现超时的错误。
  当数据访问负载持续增加时,就需要考虑读写分离技术(Master-Slave)架构,以及分库分表技术。但读写分离和分库分表带来了应用层面的复杂性,应用程序需要在设计开发阶段就考虑到数据的拆分。分库分表后,不仅限制了查询的灵活性,并且随着数据量继续增长到PB级,单个数据库实例的处理能力最终会成为整个系统的性能瓶颈。
  当基于分布式存储计算的大数据处理技术出现后,我们所面对的则是来自离线和在线的多个不同数据流,系统需要实时响应数据查询请求,还需要处理分布式系统的分区和复制问题,以及满足高容错、低延时和可扩展的要求,于是就有了lambda架构,但其也存在着不足之处:整体架构比较复杂,资源开销比较大,对软硬件的需求较高;很多分析场景实现困难,增加了应用开发难度;数据流水线较长,系统运维复杂。
  通过以上可以发现,现有的数据处理技术都存在一定缺陷,在面对今天日益复杂的企业大数据分析需求时显得力不从心,如何采用最新的架构技术来解决这些问题,这也是数据分析厂商所必须面对的挑战。
  用友云分析服务的解决之道
  经过超过10年的技术积累,用友拥有强大的底层技术和基础架构,支撑了几百万家企业的信息化发展。随着大数据云计算技术的发展,伴随着用友客户们业务的高速成长,用友数据分析产品线也经历着创新和变革。
  用友在2016年已经将底层数据处理技术全部换到了最先进的分布式计算系统,真正系统自动地进行分布式的调度。从2017年开始,用友全面转向云战略,在基础架构技术的投入加速,用友云分析服务,真正做到高性能高可靠性的分析系统。
  用友云分析服务基于最新的大数据技术Kudu,可以在不牺牲可靠性的前提下,大大减少分析系统的复杂性。作为全新的大数据平台,Kudu结合了OLTP和OLAP系统的优点,在单一系统上同时提供高性能的数据查询分析和数据更新能力。通过创新架构设计带来的优势,节省了不必要的额外系统开支,还可以在企业期望的价格点上提供实时数据分析功能,而无需理解开源产品带来的架构复杂性或绑定特定厂商专有的昂贵软硬件设备。
  用友云分析服务的架构可以分为数据采集层、数据持久化层、数据处理层、数据挖掘层、数据应用层,以及系统运维层。目前用友云分析服务可以支持主流的公有云,资源池化后的私有云,以及物理服务器,针对较新的硬件设备进行了优化,所以要求CPU(或虚拟化层)必须支持SSSE3 和SSE4.2指令集。
  数字化时代的到来使得企业的决策面临前所未有的复杂度。企业数据相互连接,不同数据都在其中,数字经济的背后其实是一种决策型经济,谁能够最快最有效地对数据进行分析,最快产生决策,谁就能更快地进行企业数字化转型。用友分析云为你提供一个“独一而二”的全分析服务。
【免责声明】本文仅代表作者本人观点,与CTI论坛无关。CTI论坛对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。

专题