很多网工学完基础技术和热门技术后，都会不约而同的对数据中心技术产生兴趣。

数据中心是很难用一句话定义的，它是一整套复杂的设施，不仅仅包括计算机系统和其它与之配套的设备，还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。

像前两年，阿里盖了国内首座超级数据中心，对比传统的数据中心它的优势不言而喻，当时就引起很多网工人的讨论。

 

当然，数据中心也不是一开始就这么复杂。一旦规模上来，所有的系统都需要适配，这个复杂不是简单地累加，而是几何倍数的增长。

举个例子，就说盖楼吧。

要知道，建设一座50层的大楼和120层的大楼成本可不是增长两倍的关系哈。

假如建设50层大楼，平均下来3000元一平，10万平米就是3亿。

假如建设120层的话，造价应该是50层楼的10倍，3万元一平，如果是30万平方米，那就是90亿，整整差了87亿。

数据中心的规模和发展，就可以此见微知著。

 

一、传统数据中心技术解析

要知道，传统的数据中心主要是依据功能进行区域划分，例如 WEB 、APP、DB，办公区这一类的。

不同区域之间通过网关和安全设备互访， 保证不同区域的可靠性、安全性。

同时， 不同区域由于具有不同的功能，因此需要相互访问数据时， 只要终端之间能够通信即可，并不一定要求通信双方处于同一VLAN或二层网络。

 

 

传统的数据中心网络技术，STP 是二层网络中非常重要的一种协议。 

用户构建网络时，为了保证可靠性，通常会采用冗余设备和冗余链路， 这样就不可避免的形成环路。

而二层网络处于同一个广播域下， 广播报文在环路中会反复持续传送， 形成广播风暴， 瞬间即可导致端口阻塞和设备瘫痪。

因此，为了防止广播风暴，就必须防止形成环路。这样，既要防止形成环路，又要保证可靠性， 就只能将冗余设备和冗余链路变成备份设备和备份链路。 

即冗余的设备端口和链路在正常情况下被阻塞掉，不参与数据报文的转发。

只有当前转发的设备、端口、 链路出现故障，导致网络不通的时候， 冗余的设备端口和链路才会被打开， 使得网络能够恢复正常。实现这些自动控制功能的就是 STP(Spanning Tree Protocol ，生成树协议 )。

由于 STP 的收敛性能等原因， 一般情况下 STP 的网络规模不会超过 100台交换机。 

同时由于 STP 需要阻塞掉冗余设备和链路，也降低了网络资源的带宽利用率。因此在实际网络规划时，从转发性能、利用率、可靠性等方面考虑，会尽可能控制 STP 网络范围。

 

二、大二层也是为了流通的要求

随着数据大集中的发展和虚拟化技术的应用， 数据中心的规模与日俱增， 不仅对二层网络的区域范围要求也越来越大，在需求和管理水平上也提出了新的挑战。

数据中心区域规模和业务处理需求的增加， 对于集群处理的应用越来越多， 集群内的服务器需要在一个二层 VLAN下。

同时，虚拟化技术的应用，在带来业务部署的便利性和灵活性基础上， 虚拟机的迁移问题也成为必须要考虑的问题。为了保证虚拟机承载业务的连续性，虚拟机迁移前后的 IP 地址不变，因此虚拟机的迁移范围需要在同一个二层 VLAN 下。

反过来，即：二层网络规模有多大，虚拟机才能迁移有多远。

传统的基于 STP 备份设备和链路方案已经不能满足数据中心规模、带宽的需求，并且STP 协议几秒至几分钟的故障收敛时间， 也不能满足数据中心的可靠性要求。 

因此， 需要能够有新的技术， 在满足二层网络规模的同时， 也能够充分利用冗余设备和链路， 提升链路利用率，而且数据中心的故障收敛时间能够降低到亚秒甚至毫秒级。

 

三、大二层需要有多大?

既然二层网络规模需要扩大，那么大到什么程度合适？这取决于应用场景和技术选择，以下分几个场景讨论：

01 在数据中心里

大二层首先需要解决的是数据中心内部的网络扩展问题，通过大规模二层网络和 VLAN延伸，实现虚拟机在数据中心内部的大范围迁移。由于数据中心内的大二层网络都要覆盖多个接入交换机和核心交换机，主要有以下两类技术。

1. 虚拟交换机技术

虚拟交换机技术的出发点很简单， 属于工程派。既然二层网络的核心是环路问题， 而环路问题是随着冗余设备和链路产生的， 那么如果将相互冗余的两台或多台设备、两条或多条链路合并成一台设备和一条链路， 就可以回到之前的单设备、 单链路情况， 环路自然也就不存在了。 

尤其是交换机技术的发展， 虚拟交换机从低端盒式设备到高端框式设备都已经广泛应用， 具备了相当的成熟度和稳定度。 

因此， 虚拟交换机技术成为目前应用最广的大二层解决方案。

虚拟交换机技术的代表是H3C公司的IRF、Cisco公司的VSS，其特点是只需要交换机软件升级即可支持，应用成本低，部署简单。

目前这些技术都是各厂商独立实现和完成的，只能同一厂商的相同系列产品之间才能实施虚拟化。 

同时， 由于高端框式交换机的性能、密度越来越高， 对虚拟交换机的技术要求也越来越高， 目前框式交换机的虚拟化密度最高为 4：1.虚拟交换机的密度限制了二层网络的规模大约在 1万～ 2万台服务器左右。

2. 隧道技术

隧道技术属于技术派，出发点是借船出海。二层网络不能有环路，冗余链路必须要阻塞掉，但三层网络显然不存在这个问题，而且还可以做 ECMP( 等价链路 )，能否借用过来?

通过在二层报文前插入额外的帧头， 并且采用路由计算的方式控制整网数据的转发， 不仅可以在冗余链路下防止广播风暴，而且可以做 ECMP，这样可以将二层网络的规模扩展到整张网络，而不会受核心交换机数量的限制。

隧道技术的代表是 TRILL 、 SPB，都是通过借用 IS-IS 路由协议的计算和转发模式，实现二层网络的大规模扩展。 

这些技术的特点是可以构建比虚拟交换机技术更大的超大规模二层网络 (应用于大规模集群计算 )，但尚未完全成熟，目前正在标准化过程中。同时传统交换机不仅需要软件升级，还需要硬件支持。

 

02 跨数据中心

随着数据中心多中心的部署， 虚拟机的跨数据中心迁移、 灾备， 跨数据中心业务负载分担等需求， 使得二层网络的扩展不仅是在数据中心的边界为止， 还需要考虑跨越数据中心机房的区域，延伸到同城备份中心、远程灾备中心。

一般情况下， 多数据中心之间的连接是通过路由连通的， 天然是一个三层网络。 

而要实现通过三层网络连接的两个二层网络互通，就必须实现“ L2 over L3 ”。

L2oL3 技术也有许多种， 例如传统的 VPLS(MPLS L2VPN) 技术，以及新兴的 Cisco OTV 、H3C EVI 技术，都是借助隧道的方式，将二层数据报文封装在三层报文中，跨越中间的三层网络，实现两地二层数据的互通。

 

这种隧道就像一个虚拟的桥，将多个数据中心的二层网络贯穿在一起。

另外，也有部分虚拟化和软件厂商提出了软件的 L2 over L3 技术解决方案。 

例如 VMware的VXLAN 、微软的NVGRE，在虚拟化层的 vSwitch 中将二层数据封装在 UDP 、GRE报文中，在物理网络拓扑上构建一层虚拟化网络层，从而摆脱对网络设备层的二层、三层限制。

这些技术由于性能、扩展性等问题，也没有得到广泛的使用。

 

四、数据中心之间的互联方式

01 网络三层互联

网络三层互联，也称为数据中心前端网络互联， 所谓 "前端网络 "是指数据中心面向企业园区网或企业广域网的出口。不同数据中心 (主中心、灾备中心 )的前端网络通过 IP 技术实现互联， 园区或分支的客户端通过前端网络访问各数据中心。

当主数据中心发生灾难时， 前端网络将实现快速收敛，客户端通过访问灾备中心以保障业务连续性。

02 网络二层互联

网络二层互联，也称为数据中心服务器网络互联。在不同的数据中心服务器网络接入层，构建一个跨数据中心的大二层网(VLAN) ，以满足服务器集群或虚拟机动态迁移等场景对二层网络接入的需求。

03 SAN 互联

也称为后端存储网络互联。借助传输技术 (DWDM 、 SDH 等 )实现主中心和灾备中心间磁盘阵列的数据复制。

 

五、数据中心 二层互联的业务需求

01 服务器高可用集群

服务器集群 (Cluster) ，是借助集群软件将网络上的多台服务器关联在一起，提供一致的服务，对外表现为一台逻辑服务器。

多数厂商 (HP、IBM 、微软、 Veritas 等 )的集群软件需要各服务器间采用二层网络互联。将集群中的服务器部署于不同数据中心， 可实现跨数据中心的应用系统容灾。

02 服务器搬迁和虚拟机动态迁移

数据中心进行扩建或搬迁时，需要将物理服务器从一个数据中心迁至另一个数据中心。

在此过程中，考虑以下两个因素，需要在数据中心间构建二层互联网络：

当服务器被迁至新机房， 如未构建新老中心间的二层互联网络，则面临重新规划新中心服务器 IP 地址的问题，同时还需修改DNS ，或修改客户端应用程序配置的服务器 IP。

因此，构建跨中心的二层互联网络可保留被迁移服务器的 IP 地址，进而简化迁移过程。

在服务器搬迁期间， 经常在给定的时间内， 只能将服务器群的一部分服务器迁至新中心，为保证业务连续性， 需建立跨中心的服务器集群， 构建跨越中心的二层互联网络可实现服务器平滑迁移。

与服务器搬迁类似的情况是 "虚拟机迁移 ".当前，一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移。

迁移至另一中心的虚拟机不仅保留原有 IP地址，而且还保持迁移前的运行状态 (如 TCP 会话状态 )，所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络 (虚拟机在迁移前后的网关不变 )，这种应用场景要求构建跨中心的二层互联网络。

 

 

 参考资料 

[1]本文素材整理自网络，排版成文，转载请注明出处，侵删。

相关课程内容推荐 

 

思科最高级别认证：什么是ccie证书

IE网络工程师认证课程：CCIE EI

思博IE课程安排表： CCIE-EI课表

CCIE学习周期：CCIE培训一般多久?

思科认证有什么用：ccie考到工资一般多少