首页 > 新闻 > 专家观点 >

从小黄人电影到基因测序-华为存储的数据价值发现之旅

2014-12-30 14:14:07   作者:   来源:CTI论坛   评论:0  点击:


  在大数据时代,各行各业的发展都离不开数据的存储和流动。以电影行业为例,现代高清数字电影的制作过程中,很轻易就会产生PB级的数据,3D电影则会更多。3D动画电影《Dispicable Me》的制作公司——法国照明娱乐公司(Illumination Mac Guff)技术总监Bruno Mahe向《营赢》讲述了他们遇到的IT挑战。

  《营赢》:全世界的影迷都对《Dispicable Me》里的小黄人印象深刻,作为这部电影的制作公司,法国照明娱乐公司在IT方面存在什么挑战?

  Bruno Mahe:制作电影,尤其是动画电影,在IT方面其实有很大的挑战。大家看到的动画其实都是电脑制作的图像,我们需要电脑来做渲染的工作,一部电影需要渲染几千万幅图像,而我们可能要做很多次的渲染,才能把完美的画面做出来。在这一过程中,我们需要几百台工作站,几千个计算的节点,处理超过几千TB的数据。

  在存储方面,有两个主要的挑战,一个在于扩展性及性能,动画电影制作周期中会不断产生海量媒体文件,存储系统要能够灵活地扩展和快速处理这些文件;一个是数据分级,这么多数据不可能都放在昂贵的高性能存储上,必须让数据跟渲染过程匹配起来,根据需要将数据自动迁入到高性能存储上,或者迁出到低成本存储上。

  《营赢》:华为在IT领域为你们提供了什么帮助?

  Bruno Mahe:华为给我们提供了支持2K高清视频的高性能存储系统,这能够帮助我们快速渲染,回放高清3D图像,同时华为帮助我们自动分级了几百个TB的数据,实现24×7的运作,这样我们可以更加聚焦电影本身的艺术处理。这些解决方案对我们制作新的电影非常有帮助。

  《营赢》:你们与华为有没有下一步的合作计划?

  Bruno Mahe:华为正在帮助我们做云存储的部署。我们现在已经有私有云来做渲染,在华为的帮助下,我们正在搭建融合媒体云的环境,接下来几个月,我们会聚焦完成这个项目,将来能够支撑4K甚至更高的分辨率。

  我们的下一部小黄人电影将会在2015年7月发布,有了华为的IT支持,这部电影一定会变得更好看。

  探索“小黄人”的奥妙需要处理如此庞杂的数据,而探索人类基因之谜与之相比显得更加纷繁复杂。全球最大的基因组研究中心——华大基因旗下的深圳华大基因研究院副院长方林向《营赢》表示,在基因研究过程中,对数据存储系统的要求越来越高,对IT技术的挑战也越来越大。

  《营赢》:很多人都觉得基因研究非常神秘,请简单介绍一下基因测序?

  方林:科学研究表明,每个人的寿命最长能活到150岁,但如何活到150岁?其实这就是基因测序研究的一个命题。

  在现实世界里,大部分得人都没办法活过100岁,在50到60岁的时候,就会因为各种疾病产生健康问题。这些疾病有的是可以完全治愈的,有的却没有办法根治。

  那么,有没有一种科学的方法,能够精确地预测、预防和干涉这些疾病的产生呢?人的健康有50%是由我们的基因决定的,还有50%是环境因素造成的。通过基因测序,我们可以大大降低遗传相关的疾病发生率,减少出生缺陷,还可以实现对疾病预测、预防、预警以及个体化诊疗,从而改善人们的生活健康水平。

  《营赢》:基因测序对数据存储系统有什么要求?

  方林:要回答这个问题,我们需要先了解一下“组学数据”。组学数据包括我们基因的数据、代谢组数据,当然也包括在医院里做CT、X光的医学影像数据,还有日常的环境数据。如果我们将每个人从出生到死亡的所有组学数据都记录下来,数据量会超过10TB。华大基因正在建立第一个百万人基因组数据库,这些数据加起来将超过10EB(相当于2013年全球存储厂商出货容量的一半,或者一千万部4K电影)。

  基因组学的研究,以前是把每个人的基因组和标准的基因组进行比较,这是把100GB的数据和3GB的数据进行比较的过程。而我们现在要做的百万组学的研究,是把每个人的组学数据和100万人的组学数据进行比较,即把10TB的数据和10EB的数据进行比较分析,其难度可想而知。

  《营赢》:在基因研究过程中,华为存储提供了怎样的帮助?

  方林:华为在IT技术领域具有深厚的研发和实践经验,是华大基因最优先选择的合作对象。在前期的合作过程中,我们利用华为的大数据存储,构建了融合存储池,支撑新业务的快速部署和调配,促进了大数据的流动和共享,这大大加速了基因分析的进程。接下来,我们和华为还会进一步推进BT和IT技术的融合,服务社会,造福人类。

  华为存储究竟有什么魔力,赢得法国照明娱乐公司和华大基因等各行业翘楚的青睐?华为存储产品线总裁范瑞琦揭示了其中奥秘。

  《营赢》:华为在2014年5月份发布了面向未来云架构的OceanStor融合存储,它有什么特点?

  范瑞琦:企业数据中心传统的存储部署方式,是为不同的应用部署不同的存储设备。例如,数据库应用使用SAN,文件共享类采用NAS,应用加速采用全闪存存储,存储异构整合采用存储虚拟化网关,加上备份等数据保护系统,整个数据中心的存储层形成了一个个的数据孤岛,数据不能共享,管理和扩展复杂。而在云计算的趋势下,这种方式带来的问题更加严重。

  OceanStor融合存储正是打破了这种传统,创新性地将SAN、NAS、闪存、存储虚拟化和备份融合在一个系统中,存储服务按需分配,让业务更敏捷,同时通过数据的自由流动、整合和共享,使得数据价值和商业洞察的发现更加简单。

  《营赢》:融合的理念都具体体现在哪里?

  范瑞琦:华为OceanStor融合存储能够实现五大融合。

  首先,华为OceanStor融合存储真正实现了将SAN(面向关键应用和结构化数据的存储)和NAS(面向文件共享的系统)自然融合到一个系统中。

  其次,大部分存储厂商的高中低端存储架构不同,数据不能互通。而华为的高中低端存储都基于同一个存储操作系统OceanStor OS,一套OS可以灌装在不同的硬件系统中,数据可以在不同档位的存储设备间自由流动和共享。

  同时,华为融合存储通过OceanStor OS一套架构同时支持HDD和SSD,智能适配业务对性能和容量的需求,很好实现了性能和容量的融合。

  在传统的备份方式下,企业需要采购额外的备份软件和备份服务器,而华为OceanStor已经内置了备份软件,省去了一大笔采购开支。

  那么,使用华为存储系统,是不是就意味着需要把原来数据中心既有的其他厂家的存储设备都抛弃掉呢?答案是否定的。华为OceanStor OS还可以将第三方的存储设备接管起来,统一管理和使用,实现异构存储设备的融合。

  OceanStor融合存储是基于OceanStor OS打造的第一款企业融合存储产品。它将帮助企业用户进入数据价值发现之旅。

  《营赢》:OceanStor未来的发展方向是怎样的?

  范瑞琦:在华为看来,不管是软件定义,还是硬件重构,都是要基于业务需求,存储产品和方案始终都要满足企业的实际需要,也就是说,存储更应该是业务驱动的。

  华为存储已经围绕业务的不同应用场景,打造了相应的存储产品:有面向企业关键应用的统一存储系统,通过创新的五大融合特性让系统变得更简单;有集海量数据存储、归档、分析等能力于一体的大数据存储系统,系统强调扩展性及提供最佳大数据存取与分析效率;有冷存储系统应对海量数据的长期低成本保存,致力于提供超EB级的极致容量和极低TCO能力。此外,华为计划在2015年发布一款提供极致性能的全闪存阵列系统vPARS,帮助企业应对越来越多的实时存储系统需求。

  但最为重要的是,华为存储产品族不是一个个数据孤岛。华为认为,所有的存储资源和能力都应该按照需求被统一编排,通过服务的方式让企业随心应用。所以,在存储的基础架构之上,华为OceanStor未来支持通过统一的SDS Controller(业务驱动存储控制器),将所有面向不同应用场景的存储产品以及通用服务器,整合为一个存储资源池,智能地管理、调度以及开放不同SLA等级的资源给不同的上层应用,为企业带来服务化、自动化、弹性的存储资源。

相关热词搜索: 华为 存储 大数据

上一篇:瑞士Sunrise持续优化网络质量

下一篇:最后一页

分享到: 收藏

专题