您当前的位置是:  首页 > 新闻 > 国内 >
 首页 > 新闻 > 国内 >

SPEC 如何做好云计算时代性能测试的度量衡?

2016-11-01 16:51:52   作者:   来源:搜狐科技   评论:0  点击:


  如今已经是云计算、大数据共同驱动人类进步的时代,但遗憾的是,云服务作为一种服务,它很难被准确的计量、计价,如何才能客观精确地衡量云服务的优劣?人类有没有可能找到一把新的标尺来对云服务进行精确的测量?
  2016年10月27,SPEC 2016亚洲峰会首次在中国举办,大会以“发现真实的计算效率”为主题,有来自全球200多位企业级IT专家和学者参加了此次峰会,与会代表共同探讨了云计算、大数据趋势下的计算性能、效率的评估模型与规范、测试方法的制定及实际应用,并且发布了全球首个云计算测试标准SPEC Cloud IaaS 2016,从此云计算有了可以精准测量的“度量衡”。
  SPEC为何有底气做测试标准制定者?
  为了客观准确地认知世界,聪明智慧的人类祖先发明了度量衡,这样就可以精确定量地区测量长度、体积和重量。为了计量准确,在1889年人们还发明了“国际米原器”,来确定长度的基准单位,但随着科技的发展和时代的演变,笨拙的国际米原器退出了历史舞台,而氪86同位素灯和激光测距仪等更精确小巧的测量方式陆续出现,人类测量地球到月球的距离甚至可以精确到米。
  谁能制定行业标准,谁就赢得了现代商业的战略制高点,所以以往各种标准和规范的建立过程,往往会伴生很多商业利益的牵绊,这也使得标准制定者因其身份,在客观性、准确性和权威性往往受到了质疑,有效解决方案之一,就是斩断利益链条。
  SPEC(Standard Performance Evaluation Corporation)标准性能评测组织,在成立之初就定位于非营利性、权威第三方组织,自从1988年成立以来,已经成为了计算机行业内测试基准的重要制定者之一。
  SPEC成员构成主要为企业成员和科研院所成员,目前企业成员共有52家,世界大多排名前列的计算机软硬件和互联网企业是SPEC企业成员的主体,包括IBM、VMware、google、Amazon、浪潮等企业都位列其中,而科研院所成员共有32个,橡树岭美国国家实验室、加州伯克利大学、中国科技大学、斯坦福大学、清华大学等全球顶尖的高校和科研机构,是其中的主力构成。
\
  从上述的SPEC成员构成,我们可以看到,SPEC组织几乎囊括了顶尖企业和科研院校的顶尖专家,他们代表着目前计算机行业最高的技术水准。SPEC主席Walter Bays在此次峰会接受采访时表示:从经济来源上来说,SPEC按照典型的非盈利组织来运营,其费用多由会员自愿缴费和捐助,其他非会员使用SPEC测试软件也会缴纳费用,所以SPEC组织并不会受商业利益影响,如果捐赠和赞助有可能会影响到测试结果的公正性,那么SPEC组织会毫不犹豫地拒绝。
  SPEC组织的日常运行,完全由独立的执行董事会进行管理,参与成员多为无偿志愿者,SPEC在审核成绩需要提交各个技术委员会进行统一讨论,公开透明,SPEC在网站上不仅公布最终测试结果,也会公布测试方案和过程,接受业界质疑,而且核心成员有一票否决权,他们有权利对质疑的测试结果说不,这种相互监督的透明机制有效保证了自身的权威性。
  正因为在经济来源、人员构成和运行规则上的独立性,所以使得SPEC成为了全球公认的测试标准制定者,SPEC 2006更是成为了全球服务器评测的基准性软件,其测试结果对于行业客户比较选型,厂商之间彼此进行性能比拼,都得到了高度认同。
  云计算该如何精准测试和比较?
  尽管SPEC组织在全球服务器领域享有盛誉,但SPEC组织同样也面临着严峻的挑战,现在云计算、大数据和人工智能持续火爆,多年之前制定的服务器测试基准,应对现在真实而复杂的应用场景和共享架构体系显得有些不合时宜,如何能够符合云计算时代的性能测试新需求?SPEC组织给出的答案是云平台测试基准SPEC Cloud IaaS 2016,这也是全球第一款云计算平台测试基准。
  SPEC CloudIaaS 2016测试基准基于YCSB(YahooCloud Serving Benchmark)+Cassandra分布式数据库,Cassandra由Facebook开发,在各个运营商中的应用十分广泛。SPEC Cloud IaaS小组进行了大量的调整,例如在原有的YCSB基准中,数据库的读写操作比例为7:3,SPEC Cloud IaaS 2016的读写比例调整为95:5,这样调整之后的比例,更符合目前实际应用场景。
  大量针对云计算具体新应用的测试基准设定,使得SPECCloud IaaS 2016从可扩展性、灵活性、实例配置时间三个方面,能对各类IaaS平台的性能和弹性做出公允的评判,这既包括公有云,也包括私有云。所以那些考虑购买云服务的企业和政府,再也不用为缺少统一可信度的数据度量标准而发愁了,不服就跑个分呗,这对于决策来说就更加有参考性。
  SPECCloud IaaS2016可以模拟多种I/O和CPU密集型云计算工作负载,还能够模拟标准社交媒体NoSol数据库应用场景,对云计算软、硬件产品的多种性能指标进行基准测试。适合用作深度学习的人工智能服务器,是近年来服务器市场增长最迅猛的一个分支,它与通用高性能服务器的架构和特性有很大差异,现在经SPEC组织技术专家确认,目前Cloud IaaS 2016也同样适用于深度学习型服务器的测试和比较。
  服务器测试是测试人员的技术水准和经验都有很高的要求,这显然不利于一些IT能力薄弱的中小型企业,针对这个用户痛点,SPEC Cloud IaaS2016在设计时充分考虑了不同用户的技术水平,既可以实现测试环境的自动部署及运行,自主测试及输出测试报告,也可以依据用户特殊需求手动配置运行环境,所以无论是对一般大型客户及研究机构,还是对于中小型企业,测试者可以根据自己的技术水平和需求,得到不同的成绩和答案。
\
  据SPEC 开放系统委员会(OSG)主席SteveRealmuto在接受采访时表示,在峰会召开之前三个月和六个月,已经用SPEC Cloud IaaS2016进行过两次针对不同云应用环境的实景测试,测试结果表明Cloud IaaS2016对于不同云场景的测试结果,能够体现出这几年云平台性能改善和系统优化的成果。
  云无国界,中国企业应该更主动拥抱世界标准
  原来SPEC峰会通常是闭门会议,而且主要集中在美国召开,而今年SPEC决定在北京举办亚洲峰会,一方面是因为国内云计算市场蓬勃发展,据Gartner数据,2016年第二季度,中国服务器总销量60.9万台,增长超过90万台,增量超过全球增量;另一方面也是一位中国云计算厂商在世界舞台正在扮演越来越重要的角色,无论是ISC上公布的全球TOP500榜单,还是西安刚刚公布的中国TOP 100榜单,中国企业在份额上已占有举足轻重的地位。
\
  浪潮于是在2014年被SPEC组织吸收为正式成员,并成为OSG技术委员会中CPU组委员,拥有测试结果的审核权、测试工具的开放、测试以及制定规范等一系列权利。那么浪潮作为中国服务器的代表,如何看待服务器测试中国标准和国际标准的接轨?浪潮将在SPEC组织中为中国和世界的交流起到合作作用时?浪潮集团副总裁胡雷钧表示:“中国与世界在测试标准上对接,关键要有一个开放的心态,不能因为中国市场规模大了,就等着别人关注,需要有来有往,实际上是一个不断的交流、融合,然后在分歧上妥协,在某些情况下求同存异的过程。”
  胡雷钧建议中国企业应该更多地去参与国际标准组织的活动。据胡雷钧介绍,浪潮从2004年开始提交第一个测试结果,一直到2014年加入SPEC组织,期间整整有十年的时间,当初浪潮在SPEC组织中只能算一个跟随者,跟随者就是要有融入的精神。要了解SPEC原有的体系,了解SPEC基准的逻辑和构成,了解SPEC组织的运作规则和游戏规则,了解他从架构层面到细节层面,逐步的表达诉求,并且逐步融入其中。
  在对待中国标准和国外标准对接时,胡雷钧深有感受地表示,因为不同标准涉及到应用环境和市场环境,涉及到产业环境,这个产业环境包括供应链,包括用户的应用场景,包括整个技术生态的发展。这实际上是一个不断的交流、融合,然后在分歧上妥协,在某些情况下求同存异的过程。所谓国际标准其实首先应该是一个合作的体系,这在SPEC组织的运作过程中体现得更为明显,所以中国企业要勇于接受别人的规则,在交流中不断提出自己的合理诉求,最终用合作精神来实现标准的自然衔接。
  在我看来,云无国界,未来云计算市场真正的霸主,在业务层面一定会是跨越国界的,所以中国厂商一定要在云计算时代,主动参与到SPEC等国际标准组织的各项活动之中,从跟随者到主导者,从单纯标准竞争走向标准协同和合作。我们也期待中国有更多企业能吸取浪潮参与SPEC组织的经验,在扬帆出海前首先要做到主动拥抱国际标准、参与标准制定。

专题