首页 > 新闻 > 国内 >

在数据中心高歌猛进的大数据

2015-02-03 11:07:50   作者:   来源:中国外包网   评论:0  点击:


  大数据作为在复杂多样的大量数据中创造价值的一项战略,使得特定行业中的组织机构在了解客户、部署产品,以及运营业务的方式正在发生改变。

  大数据的发展使得各种组织开始应用如ApacheHadoop框架不同的数据处理及存储技术,而不仅仅采用SQL(NoSQL)数据存储等大数据管理、处理和分析解决方案。

  什么是大数据?

  截止到2014年,每一天都有25亿GB的数据产生。在过去的十年中,技术进步帮助创造了连续数据流。数据的产生有多种方式,包括:上网浏览,智能手机的信息交流,数字业务流程,社会媒体的活动,以及针对建筑、产品和人的传感器的数据。

  数据在数量、速度和多样性方面呈爆炸式增长,因此被称之为大数据。

  (1)数量。数量是指所有产生的数据量。十年前,数据存储和分析都是用TB字节进行计数。而如今,企业至少需要PB级的存储需求。

  (2)速度。数据的速度既表示数据的移动量,又表示数据的吞吐量。第一个表示数据的移动量(以GB或TB/秒来衡量),第二个是表示数据提取和数据分析(以毫秒计)之间的延迟。

  (3)多样性。多样性是指数据量和数据的异质性(结构化、半结构化或非结构化)。

  捕捉、处理、存储和分析数据的需求促进了新技术的产生,这其中包括使用NoSQL数据存储、大规模并行处理(MPP),以及存储和分布式系统等。

  大数据的双重性

  由于数据中心是数据存储公司的核心,自然大数据会对其公司战略产生深刻影响。虽然一开始人们可能觉得大数据对数据中心的影响只是在存储方面,但专家认为大数据的影响则要大得多,并且影响到数据中心的多个方面。

  例如大数据在一级方程式赛车(F1)赛事中的应用。莲花F1车队就建立了自己的私有云,通过运行50个虚拟服务器来分析每一场比赛。在赛车的每一圈中,团队都要收集和分析他们每一辆赛车中250个传感器传来的30MB的数据。

  因此,在最后的蒙扎大奖赛中,莲花F1车队实时处理分析的数据超过了3TB。因此这给人们一个提示,大数据和数据中心之间的复杂关系所面临的挑战,不仅要具有适当的架构,还要能够处理好带宽和数据流的工作。专家已经确认了大数据对数据中心的两个影响:大数据在数据中心基础设施中维护需求的来源复杂性,以及大数据驱使数据中心的优化。

  大数据来源的复杂性

  大数据对数据中心基础设施的影响三个方面:

  (1)不断增长的数据存储需求;

  (2)增加内部和数据中心外部的数据传输的需求;

  (3)增加对高密度和或无架构(或非关系)计算环境的需求。

  这三个因素正在推动数据中心部署更多的机架、布线和服务器,并改善其基础设施以应对大数据的需求。数据中心还需要更多的服务器进行存储和处理,并对大量数据进行安全分析。还要增加电力容量和制冷设施以满足电力和冷却的需求。机架和布线中的情况也是如此。

  随着全球对大数据的需求,数据中心基础设施将变得比以往更加重要,虽然其最初的重点是大数据软件。然而,资源的稀缺性对数据中心架构来说更具有挑战性。专家指出,人们正在利用大数据技术寻找有效的方法,以平衡能源和资源之间的关系。

  大数据的优化

  如今,企业之间在基础设施和运营管理竞争是一个常见问题。数据中心基础设施组件(如存储设备、服务器、网络设备、机架、电源和冷却系统、虚拟化、云计算,等等),每天都会产生这些组件的运行状况成千上万的提示信息,以及性能和可用性报告。然而分析所有这些提示和报告以提高运营效率,这个过程费时费力,成本高昂,因此不能被有效地由IT人员人工完成。

  数据中心基础设施的动态观察是一个渐进的过程。因此,要在整个数据中心基础设施部署大量传感器。技术人员的目标是能够收集数据中心的关键信息,如温度,湿度和气流等等。这些信息可以提高监测和分析数据中心现有的技术能力(机箱或服务器硬件和软件,如DCIM)。

  该仪器可以被理解为一个场景中有多个信息源(传感器和信息管理系统),其中的数据分析是连续不断(实时流媒体),因此产生了大量的数据。

  大数据正在成为分析数据中心全生命周期的解决方案,能使数据中心得到进一步优化、操作和设计。这种价值不仅仅是来自大数据技术;它还可以作为提高性能的应用分析模型。该应用包括IT运营分析、虚拟化基础设施的监测、环境监测(或绿色IT),以及操作系统分析等。

  大数据分析的好处

  部署大数据分析的好处是多方面的,其中包括:

  (1)获得跨数据中心基础设施的运营可视性。

  (2)监控基础设施的实时和关联跨层事件。

  (3)与历史数据相结合,解决流数据检测模式和阻止性能差的问题。

  大数据被要求成为一个数据中心变革者的组织管理和优化方式。但公司是否真正意识到对大数据对数据中心的影响?更重要的是,他们如何应对这种影响?然而不管怎么说,大数据已经在数据中心中赢得了一席之地。

分享到: 收藏

专题