金融行业目前面临许多挑战:新兴市场指数级增长、经营利润不断缩减、制度框架日益严格,以及不断有新公司进入市场。金融行业生成并使用大量数据。规章制度的变化迫使金融公司需要保存更多历史数据,此外,业务分析与数据挖掘导致数据量不断增长。业务用户希望能够使用前所未有的来源众多的大规模数据集,他们希望实时接入这些信息。在IT预算紧缩的情况下,金融公司很难满足为业务用户高速交付大量数据集的需求。
金融行业数据发展存在如下特点。
- 数据重要性提高:部分应用系统平台下移;统计、报表、分析数据多在网络上实现;经营对计算机数据的依赖增加;
- 网络数据大大增加:实现分布式数据;跨平台数据共享;衍生数据大大增加;硬件价格下降;
- 时间窗口日趋瓶颈:新业务不断出现;作用时间增加,用于数据管理的时间减少;自动后台作业的需求增加;
- 网络数据管理繁琐:多平台混杂,物理位置分散,多种备份策略并存,存储设备多样。
为了在安全稳定的运营中提高创造力和响应速度,实现价值增值,金融企业对数据存储系统提出了更高的要求。
- 快速扩展容量和性能来满足不断增长的存储需求;
- 允许多用户并发高速访问信息;
- 多数据源的共享整合;
- 存储数据的高可靠、高可用;
- 系统安全稳定运行;
- 多种策略并存,便于针对不同应用系统灵活设置;
- 自动精简配置,降低初期成本;
- 经济高效的管理。
为满足金融企业发展需求,中兴通讯提出针对金融行业的云存储解决方案(见图1)。系统采用去中心化设计,不需要配置单独的元数据服务器,不会出现元数据瓶颈;支持在线横向扩容,避免了传统扩容方式带来的风险和损失;采用完全的分布式架构,采用存储服务器集群全冗余技术,无单点故障;另外,系统可将数据在多个分布的存储节点或数据中心备份,使应用可以在多个节点或站点之上进行条带化的并发读写,以获取最高的IO性能。
中兴通讯云存储底层硬件资源采用通用X86存储服务器,提供分布式块存储、分布式文件存储和分布式对象存储服务,分别以iSCSI块接口,NFS、CIFS、POSIX、FTP和HDFS文件接口,Http/REST、S3和SWIFT对象接口对外部应用提供服务。
- 块存储:虚机存储、数据库存储、iSCSI直存等海量高性能块存储应用;
- 文件存储:视频、音频、图片、日志、话单等海量非结构化文件存储场景;
- 对象存储:云盘等互联网类应用、云存储空间租赁、托管等公有云应用。
中兴通讯金融云存储解决方案保证金融企业数据高效、可靠存储,实现在线动态扩容,支持大并发读写,绿色节能。
- 高效、可靠存储
系统采用完全的分布式架构,元数据支持3台以上分布式集群,全系统无单点故障,任意设备宕机不影响业务,即使是灾难性机房掉电,系统也可在几十分钟内恢复。
支持多副本、EC纠删编码的跨节点冗余备份策略,允许多台服务器和多块硬盘同时故障,数据不丢失、服务不中断。
通过使用重删策略、压缩策略,进一步提升存储利用率。
- 横向伸缩,在线动态扩容
云存储作为后端的数据集中存储平台,必须具备动态伸缩的能力,这样才能满足前端应用系统不断扩展、存储收缩的需求。这种动态扩展能力必须体现在性能和存储空间上的动态扩展两方面,并且动态扩展不会影响到前端应用系统的正常运行,也不会增加整个存储云在管理、监控和使用上的复杂性。
中兴通讯云存储系统支持在线动态扩容,使得增加存储容量和CPU处理能力的同时不中断业务运行;扩容后,根据容量和IO统计,自动在新旧设备间实现数据迁移达到新的负载均衡;存储容量和系统吞吐率近线性增长。
- 系统高可用
中兴通讯云存储系统是一个分布式系统,存在着若干在功能上对等的处理节点,个别机器宕机时故障节点会自动被其他节点接管,不影响整个系统的对外服务。
个别机器故障或毁损之后不会破坏系统数据的完整性,故障节点的数据从其他完好节点的副本中恢复,并且利用系统中所有剩余硬盘并发的快速重构恢复,避免再次硬件故障产生的数据丢失风险;同时,系统允许设置数据重构的时间窗口和流控速度,避免数据重构本身对正常业务的影响。
另外,系统采用多域技术,实现故障域安全隔离,某一个域的软硬件故障不影响其他域的正常读写访问;冗余策略以域为单位,多域使得整个系统支持更多设备故障情况下还可以正常读写访问。
- 支持大并发读写,高性能
中兴通讯云存储系统将数据切片后存储在多个分布的存储节点上,并将数据在多个存储节点或数据中心进行多份备份,使应用可以在多个节点或站点之上进行条带化的并发读写,以获取最高的IO性能。
支持冷热数据分级存储,根据访问统计,将热点文件迁移到SSD等高性能设备,将冷门数据迁移到SATA等低性能设备,提升资源利用率,提高系统性能。
同时,系统采用全局单一命名空间,保证每个存储服务节点具有相同的数据存储能力和系统管理能力,全分布式架构提供系统海量的读写服务能力。
- 快速部署,扩容简单
系统采用软硬件一体机,出厂预设置;实现运维管理自动化和智能化;硬件平台模块化,以“搭积木”的方式构建,方便部署和扩容。
多地区可快速部署新的数据中心,并且彼此形成统一资源池进行无缝调度和管理,提高运营收益。
- 绿色节能
采用2U/4U的高密度存储服务器,机架资源占用低,无需特殊制冷,大大减少相关的电源、制冷、维护等开支;对于长期不活动的文件数据沉降到特定存储区域中,对该存储域的硬盘采用休眠轮休机制,降低能耗、提高硬盘寿命;帮助客户进行机柜供电、散热及承重规划,合理配置UPS和空调系统,避免投资浪费,降低整体机房固定资产总拥有成本。
中兴通讯云存储系统在全球各地承载着大量的电信及政企应用系统,其中中国移动南方基地存储资源池达到13PB容量,存储了上百亿文件,实现了大规模成熟商用,具有丰富的技术积累和实施维护经验。中兴通讯云存储系统为客户提供海量数据存储的安全港湾,助力客户金融业务创新。