2016年10月28日上午SPEC 2016亚洲峰会上，SPEC架构师Jeremy Arnold与SPEC开放系统委员会主席Steve Realmuto一起揭开了业界首个云平台测试基准SPEC Cloud IaaS 2016的神秘面纱。
在会上Jeremy Arnold向大家详细介绍了在Cloud IaaS 2016中的云计算基准测试指标，及制定这些指标的原因。Steve Realmuto就云计算基准测试的具体内容和测试方法向大家做了详细介绍。
SPEC对云计算的观点
首先，Jeremy Arnold在综合介绍云计算、公有云、私有云与混合云后，向大家介绍了开放系统组（OSG）对云计算的观点：白盒云（Whitebox Cloud）与黑盒云（Blackbox Cloud）。
Jeremy Arnold（SPECpower架构师）
白盒云（Whitebox Cloud）
白盒云一般来说，就是私有云。白盒云的用户可以知道所有的软件和硬件信息。比较像在一个典型的Benchmark环境中看到得那样，用户把软件和硬件组合到一起，在这环境里面可以控制所有的事情。这与私云环境比较类似，你对软件和硬件的配置会有一些控制权。
黑盒云（Blackbox Cloud）
黑盒云，它一般来说是公有云的结构。比如说亚马逊和谷歌的云，但它也有可能是一个托管的私有云。你可以来充分的使用云里面的资源，你也可以来购买云里面的时长，可以来购买云供应商的各种服务，你知道可以用什么样的资源，但是你其实并不清楚这个云是如何被管理的，也不清楚它里面到底涵盖哪一些资源。它其实就是一个黑盒子或者黑匣子，其实你不知道里面是什么。
云计算需要什么样的测试
无论是软、硬件的信息都了解的白盒云还是对所有信息都一无所知的黑盒云，我们都想要对它去进行测量，测量什么？或者说云的Benchmark测试是什么呢？在SPEC的研究组委员会里面，对云计算有两个不同的测试Benchmark “Scalability”和“Elasticity”。
Scalability可以看作在山上不断的攀登，也就是说云可以持续不断的处理各种需求，我们不断来增加的Workload，这就称作Scalability。
Elasticity是指随着我们不断的在云上增加越来越多的Workload，它的Scalability仍然是一致的。它的性能不会随着Workload的增加，而有所降低。
在公共云上会有各种各样的资源，可以把它称作无限、无穷的，但仍然会有限值。比如说你采用的某一虚拟机，Scalability会在一定的范围内会达到一个限值。当然我们可以在公有云环境中，通过增添虚拟机的数量使处理能力不断提升（增加Elasticity），但这样做的成本也会不断的攀升。同时还需要考虑性能的差异性。公有云中有其他租户在不同时间使用云计算资源时，也会对用户虚拟机Scalability造成不同的影响。
从另一方面来说，在私有云方面，我们获得非常好的Elasticity，你可以控制每一件事情，这样的话就确保Scalability不会有所改变，即使随着Workload的增加，Scalability也不会有所改变，在私有云里面，你会对环境会有较多的控制权，这是跟公共云相比的。但是我们在私有云里面也是要考虑性能。
如何正确评估一个云，如何才能使Scalability与Elasticity更具实际意义。这也许是一个很大挑战，包括SPEC云委员会以外的成员，都会觉得这是一个挑战，有时候Benchmark相当于是在一个黑匣子的环境里面。你如何能够做出这样的Benchmark？你如何能够把它跟其他的事情进行对比？当云计算环境进行工作的时候，工作的性能也需要得以测量。我们有时候会说，我们想要关注于云本身，而不是Workload上面，但是我们仍然需要 从Workload去评估云本身。
Cloud IaaS 2016 Benchmark要做的就是可以在任何一个云计算资源上进行测量，同时把这结果进行一个文件编撰。在这测试过程中，云的本身不会被改变。但是我们希望还是有一个初始配置的Elasticity来做为评估的基准。并且在未来，我们会设计更多的Workload测评方法，来应对云计算技术快速发展。所以说这个Benchmark会不断的进行调整，在未来我们看新的Cloud IaaS Benchmark，会有新的Workload在这上面。
Scalability与Elasticity的评估方式
接下来由Steve Realmuto向我们介绍了SPEC Cloud IaaS 2016 Benchmark有关于Scalability与Elasticity的评估方式。
Steve Realmuto（Oracle/SPEC开放系统组（OSG）主席）
Cloud IaaS 2016测试基准基于YCSB（Yahoo Cloud Serving Benchmark）+Cassandra分布式数据库，Cassandra由Facebook开发，在各个运营商中的应用十分广泛。而且，OSG cloud小组进行了大量的调整，例如在原有的YCSB基准中，数据库的读写操作比例为7:3，Cloud IaaS 2016的读写比例调整为95:5，这样比例更符合实际应用场景。
SPEC Cloud_IaaS可以模拟多种I/O和CPU密集型云计算工作负载，模拟标准社交媒体NoSol数据库应用场景，对云计算软、硬件产品的多种性能指标进行Benchmark测试。协助用户更加全向的对云计算产品进行深入了解。同时也可以协助云计算厂商，对自身产品进行完善，尽量减少现实运营过程中，云计算系统故障的发生。
SPEC Cloud IaaS在设计时充分考虑了不同用户的技术水平，既可以实现测试环境的自动部署及运行，自主测试及输出测试报告，也可以依据用户特殊需求手动配置运行环境，既适合一般大型客户及研究机构使用，也可以满足中小型企业的测试需求。
