您当前的位置是:  首页 > 资讯 > 国内 >
 首页 > 资讯 > 国内 >

再创新高!华为云FusionInsight通过中国信通院2万规模集群评测

2020-07-10 09:19:25   作者:   来源:CTI论坛   评论:0  点击:


  7月9日,以“数据新要素 产业新动能”为主题的大数据产业峰会线上直播正式开启。
  会上,中国信息通讯研究院为通过大数据产品能力评测的产品颁发证书,华为云FusionInsight MRS超大规模单集群以测试项全部满分的成绩顺利通过评估,并成功突破单集群2万节点的超大规模,树立行业新标杆。
  中国信通院大数据产品评测是国内最权威的大数据评测体系,评测范围涵盖大数据产品的基础能力与性能专项,历经六年的蓬勃发展,大数据产品认证已经成为政企客户选购选型过程中的重要参考,是业界衡量大数据产品质量和能力的重要标准。
  华为云FusionInsight MRS大数据为政企客户提供一站式企业级大数据平台,满足客户对全栈大数据平台高性能、低成本、灵活易用的诉求,助力企业快速构建海量数据信息处理系统。
  在本次评估测试中,华为云FusionInsight MRS一次性通过了27个必选用例,此外,在集群无宕机升级、双集群互备、运维监控模块失效及恢复、跨数据库关联操作、在线水平搜索能力等六个可选用例中也实现了一次性通过,100%的通过率使得FusionInsight MRS在本次评估测试中交出了一份完美的答卷。
  丰硕的成果离不开辛勤的劳作,在整个研发过程中,华为云FusionInsight MRS超大规模单集群的实践也遇到了诸多挑战,华为云大数据研发团队凭借雄厚的研发实力和丰富的探索实践经验,通过以下七个方面实现了业界首个单集群突破2万+规模,具体如下:
  01运维管理架构改造
  将原来的集约主从模式调整成了可弹性伸缩的分布式模式,提升了主备模式的监控、告警、配置、元数据存储模块的性能,成功解决了运维管理面临的难题。
  02Superior超级调度器
  自研调度引擎,支持35w/s个Container的调度速率,资源利用率达到98%以上,超出开源Capacity的能力近一倍。
  03文件对象管理优化
  利用合并单次读写流程中的交互次数、使用改良的数据通信压缩算法、DataMovementTool等技术方案,在确保文件对象管理性能的同时,自动均衡不同命名空间之间的数据,大大降低了集群维护成本。
  04多租户的资源隔离能力
  支持标签存储、多服务、多实例、DN分组等方式进行细粒度隔离,提升多租户的资源隔离能力。
  05元数据优化
  支持分布式缓存Redis方案,结合分布式锁、缓存黑白名单机制、缓存生命周期管理等技术手段突破了Hive服务的元数据读写性能瓶颈,使得元数据能够在大规模的单集群上规模商用。
  06跨AZ的网络带宽消减
  存储上提供感知AZ的文件存储策略,计算上提供感知AZ的任务调度机制,优先在同AZ下进行存储与计算,减少跨AZ的网络带宽消耗。
  07可靠性增强
  支持多种机制保障任务的可靠运行,如Hive不中断业务的能力可确保发生异常时任务不中断;Application Master的断点续传能力可记录任务状态,待AM恢复后继续执行。
  得益于以上七个方面的大数据技术增强与优化,华为云FusionInsight MRS顺利通过信通院分布式批处理平台基础能力测试,节点规模达21000,成为业界首个单集群突破2万节点的商用大数据产品。
  华为云FusionInsight已是60+国家,3000+客户的共同选择,广泛布局于政府、金融、安平、大企业、互联网等领域。FusionInsight联合800+合作伙伴,践行“平台+生态”战略,释放政企数据价值,让数据“慧”说话,使企业更智能。
【免责声明】本文仅代表作者本人观点,与CTI论坛无关。CTI论坛对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。

专题

CTI论坛会员企业