数据报文的流量收敛,是指数据报文在网络转发过程中由于架构、设备等非故障原因而不能实现线速无丢包转发。在流量收敛时,网络设备会有部分端口拥塞,进而丢弃部分报文。为了能够描述不同的收敛程度,我们通常用一个系统所有南向(下行)接口的总带宽比上这个系统所有北向(上行)接口总带宽的数值来表示,我们也将这个数值称为这个系统的收敛比。
举个例子,假设你有10台服务器,每台服务器通过10GE的接口连接到一个接入交换机,那我们一共就有100G(10×10G=100G)的南向带宽。假设这台交换机还有2个40GE的接口可以用于接入到更高一层的汇聚交换机,那我们一共就有80G(2× 40G=80G)的北向带宽。此时,我们得到的收敛比则是1.25:1(100G÷ 80G=1.25)。
需要说明的是,造成网络流量收敛的原因并不总是上述描述的这个例子,不过总的来说,我们可以将流量收敛的原因分为两类:
● 交换机不支持线速转发,在交换机内部可能形成流量收敛;
● 网络架构设计的原因,无论交换机是否线速,转发报文时也会存在流量收敛
某交换机只具有8Gbps线速转发的交换能力,某时刻从交换机前12个接口向后12个接口同时转发流量,当每个接口流量均达到1Gbps时,在交换机内部一定会有拥塞,此时便形成了转发的收敛(如图4-1所示)。实际每秒交换机接收流量为12Gbps,但转发出去的报文只有8Gbps,收敛比为输入带宽(12Gbps)÷输出带宽(8Gbps)=1.5:1

4台服务器分别通过10GE链路连接接入交换机,接入交换机通过1条25GE链路连接核心交换机。即接入交换机的下行带宽为40Gbps,接入交换机的上行带宽为25Gbps。下上行链路收敛比为下行带宽(40Gbps)÷上行带宽(25Gbps)=1.6:1。

在进行网络流量收敛设计之前,我们需要了解网络中需要部署的业务应用及其特性,明确网络业务和流量模型。综合考虑东西、南北流量的大小、比例,来制定合适的收敛比和选择相应的设备。一般需要从以下几个方面考虑:
● 网络架构
● 可用链路设计
● 设备选型
在实际应用中,除非是对流量收敛比要求特别高的网络,我们也有一种简化的方法来考虑,即主要考虑设备的可用上行口的带宽来设计。
目前常见的网络结构一般采用“两层”结构。这里的“二层”是指Spine+Leaf两层设备的扁平化设计,二层架构比多层架构整体上具有更小的收敛比,在性能要求更高的数据中心等环境应考虑为二层扁平化架构设计。

现在,还有很多数据中心网络采用Border Leaf、Spine、Leaf的组网设计)。这种设计实际上也是二层的结构,因为Border Leaf和Leaf都是属于同一层的。在政府或金融或某些特殊领域等,由于业务架构或网络安全性的要求,需要Spine层设备和网关分离,部署安全隔离等,则会采用这种结构

华为推荐采用跨设备链路聚合(M-LAG)技术构建数据中心网络。MLAG可以看做一种横向虚拟化技术,将双归接入的两台设备在逻辑上虚拟成一台设备。M-LAG提供了一个没有环路的二层拓扑,同时M-LAG成员口所在链路均参与转发,不存在链路的浪费情况。

服务器的接入涉及到布线方式,以及接入交换机的选择。常见的布线方式有TOR以及EOR/MOR两类。这两类方式可以组合出丰富的部署方式,在具体项目中,我们需要根据业务部署的要求,灵活选择不同的部署方式或组合。
下面我们以高密机架服务器场景为例,介绍下具体的接入方案。每机架部署了10台机架式服务器(通常会部署8~ 12台服务器),每排共有10个机架(通常每排会部署8~12个机架)部署了服务器,构成高密度机架服务器部署。某数据中心共有4排这样的机架.

下面我们接着看Spine层交换机的选择。每排机架上共有10台TOR交换机需要连接到我们的汇聚交换机,每台TOR交换机通过2个40GE接口接入到Spine层设备,一共是80个(2×10×4=80)接口,3200G(80×40G=3200G)的带宽。
此时我们可以选择将这些接口分为几个Spine节点接入到Spine层设备。为了避免的设备的单点故障引起网络问题,我们每个Spine节点都至少有2台Spine层交换机。如果我们选择将这些TOR交换机作为一个Spine接入,那么这个Spine接入的接口数为80个接口,3200G的带宽,如图4-11所示。在这种情况下,我们如果通过100G的上行链路链接到Border Leaf设备(一般为两台,北向连接到出口路由),则可以提供400G(4×100G=400G)的带宽,此时收敛比为8:1(3200G÷400G=8)。

最后我们来看Border Leaf层的设计。Border Leaf北向主要是连接出口路由器,南向连接不同的Spine,承担南北向流量的转发。Border Leaf的设计很重要的一个是考虑客户所购买的出口路由器的端口。这些端口相比较于我们下层的网络设备比较贵,一般情况下都是10GE/40GE的接口。这也意味着我们在Border Leaf的收敛比会比较大。

如果我们按照4个40GE的出口接口来计算,我们将有160G的带宽,此时收敛比是5:1(800G÷160G=5)。但是根据目前统计,约75%的流量都是发生在数据中心的内部,即东西向的流量。那么剩下的25%的流量,即南北向的流量大概只有200G(800G× 25%=200G)。如果按照这个来估算,我们的收敛比为1.25:1(200G÷160G=1.25),属于可接受的范围。
在设计数据中心网络收敛比时,我们需要根据网络业务和流量模型。综合考虑东西、
南北流量的大小、比例,来制定合适的收敛比和选择相应的设备。根据经验值,可参
考以下设计:
● 在服务器接入的Leaf层,南北向收敛比一般控制在3:1以下;
● 在Spine层,考虑和Leaf层的收敛比接近或更小;
● 在Border Leaf层,收敛比一般较大,根据客户的出口路由带宽灵活设计。
当采用二层的结构时,Spine层除了南北向流量,东西向流量的压力也会更大,需要选
用高性能的交换机,并尽量增加Spine间互联的带宽。