用云的思想构建Scale Out数据中心网络

　　今天，我们正处于一个信息社会，每年产生的信息数量呈几何级数增长，而数据的存储、处理和分析等主要发生在数据中心中，这就对数据中心网络提出了新的需求和新的挑战，如何满足需求和解决挑战，是我们面临的新课题。

　　众所周知，云计算的核心理念是硬件资源池化、软件全分布化和运行全自动化，这种新的分布式计算架构和存储架构的基本需求是跨计算节点访问数据，这使得数据中心内的东西流量远远高于数据中心与用户之间的南北流量，有的场景下甚至会高出40倍，比如搜索等。网络无阻塞成为支持云计算的基本要求。而今天的汇聚性CLOS数据中心网络架构面临的新挑战，主要包括以下几个方面。

　　一般来说，典型云数据中心的服务器规模为5～10万台，这些服务器既可以是在一个大型数据中心基地内，也可以分布在200公里范围内的多个机房。以3000～4000台服务器组成一个POD集群，集群内部实现严格的无阻塞网络，集群间则最大程度实现无阻塞网络，以更大规模地实现计算和存储的共享，此种情况下，网络对交换容量的需求极其巨大。以每个服务器4个10G接口计算，网络容量要达到2P～4P的能力，即使集群间按照1:4收敛比计算，云数据中心网络的容量也将达到P级需求（1P=1000T）。

　　传统设备汇聚的网络架构，其核心交换机的最大容量当前约为50Tbps，如果不改变网络架构，要满足未来的需求核心交换机就要达到100～200Tbps的容量，以电互连为基础的技术要提升Serdes速度、提升更大的单机容量非常困难，而且单点故障的影响将变得越来越巨大，成本也越来越高昂，难以为继。

　　数据中心的功耗也是巨大的挑战。数据中心设施中耗电“大户”众多，历来被称为“电力杀手”；更为关键的是还要实现能量密度的均匀，因为能量密度不均匀对电力系统、冷却系统、数据中心空间以及数据中心安全等都会带来巨大的影响。

　　核心交换机因其容量巨大，功耗约近3万瓦。一般来说，老机房单机架供电能力是4～5千瓦，新机房单机架供电能力是8千瓦到1.2万瓦。如果单个设备功耗过大，成为“功耗高地”，设备前后左右就必须留出足够的空间来保障为其供电。同时，散热系统也要严格保证其工作环境要求，从而使整体机房空间的密度难以提升，又给供电散热带来了很大的挑战，随着网络规模的不断增大，功耗和散热也变得越来越难以为继。

　　传统三层网络设备的连接，需要通过核心交换机来转发TOR的组间流量，即最终需要将光纤汇聚于核心机房，从而产生了“光纤墙”问题，密密麻麻的光纤会变得像一堵墙一样，让运维非常复杂。

　　通过大容量端口可以减少光纤，比如40GE或者100GE端口，但出于对光模块成本的考虑，一般会采用4×10G或者10×10G的多模并行光模块，40GE需要4对光纤，100GE需要10对光纤，光纤数量实际上并不会减少，对运维仍将带来很大的挑战；与此同时，设计机房的架顶时，一般的设计规格是承受2000束左右的光纤，这样，核心机房的连纤数量也进一步限制了全网无阻塞交换的容量，即最大可以达到约200Tbps（2000×100GE）。

　　因此，随着云计算的发展，云数据中心的规模日益变大、东西流量日益增加，数据中心网络将面临新的需求，特别是P级无阻塞交换容量的需求。而传统的网络架构面临着容量、供电、功耗、扩展性和运维等一系列难以解决的问题，需要新的架构来解决问题。

　　MESH网络架构逻辑图

　　MESH网络架构的关键特征：第一是超级扁平化，全网只有TOR交换机一层，直接部署在每一个服务器机柜上。将数据中心网络的多层汇聚结构变革为一层物理网络结构，全网由一种规格和配置相同的小交换机连接而成，每台交换机都有组内MESH和组间MESH连接，不再需要传统架构中的大容量汇聚与核心交换机。

　　每个TOR交换机的端口分为3组：第一组是连接服务器的本地端口；第二组是连接同一POD内其他TOR交换机的组内连接端口，形成组内一级MESH连接；第三组是连接不同POD间TOR的组间连接端口，组间连接端口与不同POD间的相同组间平面的TOR相连，形成组间二级MESH连接。标准的二级MESH网络由N×N个TOR节点组成，其中共有N个POD，每个POD有N个TOR节点。

　　第二是光网络进入数据中心，采用波分和无源光器件CAWG（Cyclic Array Waveguide Grating，循环阵列波导光栅）来解决MESH互联。无论组内还是组间的MESH连接，都需要有光纤与相关节点直连。如果网络规模很大，例如共有48×48个节点的网络，网络的连纤数量巨大，需要几十万对光纤，且每根连纤的节点方向也不相同。为了解决光纤的MESH连接问题，引入了波分接口和CAWG，交换机采用WDM接口（可内置在交换机中，也可以独立部署），TOR交换机的N个发送端口经合波器合波后，与CAWG的输入纤相连，利用该光器件，不仅可以将交换机逻辑上的MESH连接转变成物理上的星形连接，而且解决了大规模数据中心网络的海量连纤问题。

　　第三是MESH?网络的分布式转发实现了无阻塞交换和智能路由调度，提高了网络吞吐率。MESH网络在物理上是一层网络，在转发模型上依然是CLOS三级网络，只不过是分布式的，即TOR交换机完成TOR、汇聚和核心3层交换机的功能，把汇聚和核心交换机的能力分布到每一个TOR交换机上，从而消除了系统的中心点和瓶颈。并且，相比传统的CLOS架构，因为MESH网络存在直达路径，通过智能的、不等价多路径的路由调度算法，数据流量在DC内的转发跳数将会减少，使得MESH网络的时延性能和转发效率都得到显着提高。

　　Scale Out MESH?网络的实质是将传统CLOS三层网络的汇聚与核心层节点的交换能力分配到了TOR上，突破了传统汇聚架构的瓶颈。其核心价值表现在以下几个方面：

　　Scale Out网络还有两个不足的地方：一个是CAWG是固定方向的波长交叉，使得灵活组网和平滑扩展受到制约；另一个是TOR之间的互联接口带宽都相同，不能灵活升级，而只能整体升级。虽然这些问题可以通过工程方法、工程部署方式或者在实际应用中来避免或者优化，但还不能彻底解决问题，还需要进一步创新来解决，比如灵活的光交叉技术和可变带宽光端口等。这些光技术的发展也将成为数据中心网络未来发展的核心，使光技术和光网络成为数据中心网络的基础。

　　综上所述，随着云计算和云服务的发展，海量信息的爆炸和数据流量模型的改变正在给数据中心网络带来新需求和新挑战，需要用新的思维模型、新的设计理念以及新的技术架构来重新思考数据中心网络的发展方向。Scale Out MESH?架构的数据中心网络，采用云计算的理念和思想、借助光网络的技术来构建Scale Out网络架构，解决了传统CLOS数据中心网络架构难以克服的问题。通过全分布式的一层网络架构和智能的路由调度算法，能够构建出Pbps级的超大容量网络并实现更高的网络效率；通过去中心化来解决功耗、散热、布线和维护等工程问题，降低了单点故障的风险，不依赖单个设备构建系统的可靠性，是未来云数据中心网络发展的核心方向。