当OpenStack遇见顶尖学府
CTI论坛(ctiforum)10月28日消息（记者 李文杰):OpenStack正在全球范围掀起应用热潮，仅在科研领域，便有欧洲核子研究组织CERN借助OpenStack去探求宇宙起源，NASA借助OpenStack去寻找地外人类家园。日前，顶尖学府清华大学交叉信息研究院成功构建国内最大规模的OpenStack科研云平台，单个集群规模达到6000个Core，16TB内存，540TB存储的规模，帮助清华大学在生物医疗、基因测序、社交网络、自然语言分析等新兴学科领域进行了卓有成效的探索。这一项目同时让清华大学交叉信息研究院的数据中心采购成本降低60%，例行IT管理任务所花时间减少33%，能源成本降低80%。
清华大学交叉信息研究院
清华大学交叉信息研究院成立于2010年12月30日，由世界著名计算机学家、2000年计算机科学最高奖图灵奖得主、美国科学院院士、美国艺术与科学学院院士、中国科学院外籍院士姚期智院士领导，是国内首个致力于交叉信息科学研究的教学科研单位，致力于在计算机科学与技术和物理学两大学科方向上开展交叉建设，也是国内在量子信息研究最前沿的科研机构。
新科研需求与院校云平台选型
随着越来越多科研项目的需要借助计算机集群，原有的使用单一HPC集群处理单一科研项目的“好日子”一去不复返了。旧的IT架构让科学家们在面临科学研究时，已经不能将注意力放在科研本身了。
“不应让科学家们去要求IT具备灵活性，而是IT系统随时都可以按需而动。”著名生物学家John Boyle在Nature的论文《生物学需要发展自身的大数据系统》这样对IT系统的灵活性提出了强烈的需求。
“这该死的I/O！”加州大学圣克鲁兹分销的David Haussler教授更直接的对IT系统中的性能优化十分懊恼。
如今，让院校IT运维人员头疼的是各种科研需求均需要使用计算机集群来进行计算分析，清华大学交叉信息研究院目前就需要对科学影像处理、冷冻电镜与蛋白质结构、在线教育数据分析、社交网络分析、自然语言处理、基因组测序分析等一系列项目进行支持。尽管拥有超过200台x86服务器，但不同项目对计算资源的不同需求、系统配置让清华大学交叉信息研究院的IT运维难堪重负。
200台物理服务器，超过2PB的存储空间，10TB的固态存储、光纤+软交换的IT架构已经让包括清华大学交叉信息研究院助理院长的徐葳在内也仅有两名的IT运维人员捉襟见肘，就更不要说原本希望自己尝试解决IT系统灵活性的OpenStack+Ceph+Hadoop\Spark\Matlab\SAP HANA的云计算尝试了。
为了更好的利用原有的硬件资源，同时构建起国内最大规模的产学研一体化OpenStack云平台。寻找一家值得信赖的长期战略合作伙伴，提供企业级可靠、开放、高性能的方案和专业服务至关重要。由于对EasyStack专业性的认可，清华大学交叉信息研究院选择了与其共建OpenStack产学研云平台。
需求与方案设计
清华交叉学院的数据中心，根据现有服务器硬件基础上，设计合理的云平台方案，配备网卡/SSD/SATA盘等，达到OpenStack的硬件配置要求，利用暑假的一周停机时间，完成OpenStack产学研云平台的部署上线。
-- HA
OpenStack作为清华大学内部的公有云平台，首期规模为125个物理节点，综合集群规模和访问负载情况，控制节点采用5节点高可用方案。未来根据使用情况，可随时增扩。通过使用集群/主备/负载均衡等HA方式，对MySQL/Message Queue/API服务/Web访问等服务配置全方位高可用方案。
-- 存储
通过对OpenStack各服务的改进增强，Nova/Glance/Cinder统一使用Ceph RBD作为后端存储，实现云主机/快照/云硬盘等云资源的秒级获取。Ceph存储集群设置三副本，保证数据的高可用性。为充分利用物理机资源，在计算节点增加SSD/SATA盘和万兆网卡，采用存储与计算融合方式，并通过Cgroup/taskset等手段对计算和存储进程进行资源隔离，保证计算和存储性能稳定可靠，互不干扰。
-- 网络
使用VLAN＋OVS方式配置网络，合理分配不同网络平面的流量，并为生产网络预留足够的VLAN ID范围，方便众多老师和学生搭建自己的私有网络。L3 agent将负载均分到五个控制节点上，在单个L3失效的情况下，其上的配置会自动reschedule到其他节点，最大程度减少网络中断，并可根据需要对南北向和东西向网络流量进行合理限速。
-- 账号管理
OpenStack集群部署完毕之后，通过对Keystone配置文件的调整来对接LDAP，LDAP所有用户将呈现在OpenStack的用户列表中。再通过对现有LDAP用户权限的调整，用户登录后将呈现所在权限级别的访问界面。新创建的LDAP用户将通过OpenStack联动脚本，帐号创建完毕即可登录云平台访问。在LDAP中通过分组来区分不同的院系，每个院系将指定一位“企业”管理员，管理他所在院系的用户/项目/计费等。
-- 计费
通过对Ceilometer的增强，计费系统实现对云资源的秒级精确计费。配合分级帐号管理系统，每个院系作为一个单独的计费单位进行收费。计费价格可以由云管理员随时调整，并在指定的日期生效。通过支付宝等在线支付方式可以随时为本院系充值。
-- 节点部署方案
清华大学遇见OpenStack
通过合理分配网络平面的流量，将不同网络的访问进行隔离，保证网络访问通畅。其中，计算与存储融合的节点上，两个万兆网口做Load Balance绑定，提升网络吞吐量，保证Ceph副本的快速写入。
部署
-- 虚拟机备份/恢复
在实施之前，通过Ansible自动化工具，在现有集群的物理节点上将虚拟机并行备份。利用本地磁盘作为虚拟机备份的快速周转空间，并在远端保留副本。新集群部署完毕之后，再将虚拟机恢复到对应的用户账号下。通过自动化脚本批量将虚拟机镜像直接传入Ceph集群中，极大缩短导入时间，再将权限属性匹配原有账户，用户登陆后即可使用虚拟机镜像恢复原有的云主机了。
-- 磁盘分布
将SSD盘作为大容量SATA盘的Ceph OSD日志盘，大幅提升Ceph集群的IO性能，支撑Hadoop/Spark等应用对高性能的要求。
-- 网络
按照网络规划，在交换机上设置VLAN以对应不同网络平面。同时，在路由器和防火墙上设置网络地址映射，对外公开OpenStack集群的Web访问。 Ceph cluster网络使用Load Balance方式，绑定两个万兆网卡，实现Ceph副本数据的快速传输。
-- 资源管理
大规模集群的部署涉及到资产管理的问题，所有物理机机器均已登记在册，并在机架的固定位置标号。EasyStack的安装工具Roller为指定MAC地址分配IP，保证新集群部署完毕之后与现有资产表保持完全一致。后期运维同样可以使用Roller灵活扩展集群规模。
-- 权限管理
OpenStack实现三层分级账户权限管理， ESCloud为不同权限级别的用户呈现不同的导航界面，admin云管理员管理整个OpenStack集群，每个学院将有各自独立的“企业”管理员管理自己学院的老师/学生对云资源的申请及日常运维工作，普通用户申请云平台的各项云资源。
运维
-- 监控
为集群定制监控项目，通过直观的Web dashboard，查看集群各项指标的当前及历史运行状态。设置异常告警阈值，即时通知管理员，修复异常状况。通过各项数据的规律提前判断是否需要扩容等。
-- 帐号
ESCloud除支持本地创建用户之外，全面支持与AD/LDAP的对接。在清华项目中，OpenStack对接LDAP帐号管理系统，并与OpenStack联动。创建LDAP账户时，自动为账户创建OpenStack项目和网络，新建的LDAP账户可以即刻登陆集群使用云服务。
-- Log集中管理
集群各物理节点中的日志数据通过rsyslog远程集中存储，方便日志分析。
-- 公告栏
云系统管理员具有权限发布公告，公告内容将发布在云平台登陆首页，方便对所有用户广播消息。
-- QoS
根据使用情况对云主机/云硬盘进行访问限速，合理分配集群资源。对南北/东西向网络流量合理配置带宽限制。
-- 对集群中的MySQL/Message Queue跟踪
所有对集群的MySQL数据的操作都将出发新建一个数据项目，并在RabbitMQ添加跟踪项目，通过对这些收集的数据进行整理分析，可以通过图形化的方式展现现有集群的状态，并动态检测/定位集群出现的问题。
项目特点
-- 高可用
通过HA以及EasyStack ESCloud云平台的高可靠设计等方案的实施使之区别并领先于其它OpenStack发行版，可用于承载核心业务的中大规模云计算环境，轻松应对业务挑战。
-- 开放兼容利旧
ESCloud云管理平台具有极高的开放性，屏蔽底层不同品牌，让学院拥有大量旧有基础设施，能够充分的利用起来。
-- 性能优化
EasyStack的ESCloud平台深入优化计算、存储以及网络性能，从KVM、OVS、CEPH等最底层技术开始源代码级优化，最终提供接近物理硬件能力的计算、存储和网络性能，为该项目的Hadoop、Spark、Docker、入侵检测等研究课题提供高性能服务，胜任科研需求。
-- 多层权限管理
运维上，ESCloud提供了三层权限管理，各个课题项目组或者其它院系可以按照实际需求再行分配和管理资源，配合精细化计费功能，大大降低了学院的运维成本。
最终，清华大学交叉信息研究院的OpenStack产学研云平台项目的单个集群规模达到6000个Core，16TB存储，540TB存储的规模，是国内最大规模的产学研一体化OpenStack云平台。
同时，这一项目让清华大学交叉信息研究院的数据中心采购成本降低60%，例行IT管理任务所花时间减少33%，能源成本降低80%。
结语
“EasyStack帮助学院采用ESCloud全开源云计算解决方案搭建了国内高校最大规模的产学研一体化OpenStack云环境，投产后主要用于大数据分析、分布式系统的教学科研，以及为其他院系提供付费云服务，不仅降低了采购和运维成本，更让学校内有限的人员力量投入到更有价值的科研项目之中！” 清华大学交叉信息研究院助理院长徐葳表示。
