目录 第8章数据中心网络及其体系结构 81数据中心与数据中心网络概述 81.1数据中心 812数据中心网络 813数据中心网络体系结构 2电交换数据中心网络架构 821以交换机为中心的DCN架构 822以服务器为中心的DCN架构 83光电混合交换数据中心网络架构 84光交换与光互连数据中心网络架构 841基于光电路交换的全光数据中心网络 842基于光分组交换的全光数据中心网络 84.3数据中心机架内光互连架构 5数据中心网络的路由技术 851数据中心的流量特征分析 852分布式路由机制 85.3集中式路由机制 86数据中心网络的传送技术 861TCP拥塞控制机制 862多租户场景的带宽分配算法 87软件定义数据中心网络 871软件定义网络 872软件定义数据中心网络
I 目 录 第 8 章 数据中心网络及其体系结构 8.1 数据中心与数据中心网络概述 8.1.1 数据中心 8.1.2 数据中心网络 8.1.3 数据中心网络体系结构 8.2 电交换数据中心网络架构 8.2.1 以交换机为中心的 DCN 架构 8.2.2 以服务器为中心的 DCN 架构 8.3 光电混合交换数据中心网络架构 8.4 光交换与光互连数据中心网络架构 8.4.1 基于光电路交换的全光数据中心网络 8.4.2 基于光分组交换的全光数据中心网络 8.4.3 数据中心机架内光互连架构 8.5 数据中心网络的路由技术 8.5.1 数据中心的流量特征分析 8.5.2 分布式路由机制 8.5.3 集中式路由机制 8.6 数据中心网络的传送技术 8.6.1 TCP 拥塞控制机制 8.6.2 多租户场景的带宽分配算法 8.7 软件定义数据中心网络 8.7.1 软件定义网络 8.7.2 软件定义数据中心网络
第8章数据中心网络及其体系结构 8.1数据中心与数据中心网络概述 81.1数据中心 数据中心( Data Center)是场地出租概念在互联网领域的延伸。它是人类在IT应用 推广模式方面的一大发明,标志着IT应用的规模化和组织。数据中心是企业存储数据 和集中处理数据的地方,同时也是企业和用户获取运行环境和信息服务的源泉。近年来 随着云计算技术不断发展和网络应用的迅速增加,数据中心的发展和建设也加快脚步。 不同规模的数据中心遍地开花,金融企业、政府机关、通信行业等不断扩展其原有的数 据中心,其它的各中小型企业也逐渐构建起自己的数据中心。目前,几乎所有大中型机 构都建立有自己的数据中心,全面管理本机构的IT系统。 数据中心是指一套复杂的设施,它不仅包括计算机系统和其它与之配套的设备,比 如通信和存储系统,还包括负责运维管理的监控、调度及安全机制。数据中心是一个巨 大的数据仓库,可以存储大量的数据供不同的组织机构访问以实现日常的事务处理需求。 从组织结构看,数据中心由不同的服务器集合与网络基础架构组成。其中服务器用于收 集数据,网络基础架构用于实现服务、使用存储或更新服务器的数据。用户可以通过网 络访问数据中心的服务器。 综上所述,数据中心是指在一个物理空间内实现信息的集中处理、存储、传输、交 换和管理。计算机、服务器、网络设备、存储设备等是数据中心核心机房的关键基础设 施,基础设施运行所需要的供电系统、制冷系统、机柜系统、消防系统、监控系统等环 境因素是数据中心的支排系统。 数据中心的出现可以追溯到上世纪60年代,当时数据中心绝大部分计算机是大型 机系统。这些大型机的主要器件以晶体管和电子管为主,占地面积大、价格十分昂贵 为了充分利用大型主机的资源,多个用户根据需求通过终端系统分时占用大型机系统的 资源。20世纪η0年代以后,随着大规模集成电路的快速发展,计算机价格迅速下降, 性能也飞速提升。发展到20世纪80年代,计算机向微型机的方向不断演进,只要购买 台廉价的个人计算机,即可完成很多计算任务。在这一阶段,计算机的发展由集中走 向分布,小型机房得到了快速的发展。进入90年代,客户端/服务器的计算模式得到了 广泛应用,用户安装客户端软件后,通过互联网或局域网与服务器相互配合完成计算任
1 第 8 章 数据中心网络及其体系结构 8.1 数据中心与数据中心网络概述 8.1.1 数据中心 数据中心（Data Center）是场地出租概念在互联网领域的延伸。它是人类在 IT 应用 推广模式方面的一大发明，标志着 IT 应用的规模化和组织。数据中心是企业存储数据 和集中处理数据的地方，同时也是企业和用户获取运行环境和信息服务的源泉。近年来 随着云计算技术不断发展和网络应用的迅速增加，数据中心的发展和建设也加快脚步。 不同规模的数据中心遍地开花，金融企业、政府机关、通信行业等不断扩展其原有的数 据中心，其它的各中小型企业也逐渐构建起自己的数据中心。目前，几乎所有大中型机 构都建立有自己的数据中心，全面管理本机构的 IT 系统。 数据中心是指一套复杂的设施，它不仅包括计算机系统和其它与之配套的设备，比 如通信和存储系统，还包括负责运维管理的监控、调度及安全机制。数据中心是一个巨 大的数据仓库，可以存储大量的数据供不同的组织机构访问以实现日常的事务处理需求。 从组织结构看，数据中心由不同的服务器集合与网络基础架构组成。其中服务器用于收 集数据，网络基础架构用于实现服务、使用存储或更新服务器的数据。用户可以通过网 络访问数据中心的服务器。 综上所述，数据中心是指在一个物理空间内实现信息的集中处理、存储、传输、交 换和管理。计算机、服务器、网络设备、存储设备等是数据中心核心机房的关键基础设 施，基础设施运行所需要的供电系统、制冷系统、机柜系统、消防系统、监控系统等环 境因素是数据中心的支撑系统。 数据中心的出现可以追溯到上世纪 60 年代，当时数据中心绝大部分计算机是大型 机系统。这些大型机的主要器件以晶体管和电子管为主，占地面积大、价格十分昂贵。 为了充分利用大型主机的资源，多个用户根据需求通过终端系统分时占用大型机系统的 资源。20 世纪 70 年代以后，随着大规模集成电路的快速发展，计算机价格迅速下降， 性能也飞速提升。发展到 20 世纪 80 年代，计算机向微型机的方向不断演进，只要购买 一台廉价的个人计算机，即可完成很多计算任务。在这一阶段，计算机的发展由集中走 向分布，小型机房得到了快速的发展。进入 90 年代，客户端/服务器的计算模式得到了 广泛应用，用户安装客户端软件后，通过互联网或局域网与服务器相互配合完成计算任
务。这种计算模式中,数据中心存放服务器、存储数据并提供计算服务。互联网将全球 的计算机整合在一起,使得数据中心的发展又从分布逐渐走向集中。自2006年谷歌提 出云计算概念后,微软、亚马逊、IBM、雅虎等公司不断地推进云计算技术发展,促使 了数据中心朝着密集计算、超大规模和集中存储的方向转变。包含大量分布式服务器和 交换机的数据中心是云计算的核心基础设施,得到了学术界和工业界的极大关注。 图81展示了数据中心示意图。一个完整的数据中心在其建筑之中,由支撑系统 基础设施和业务信息系统三个逻辑部分组成。支撑系统主要包括建筑、电力设备、环境 调节设备、照明设备和监控设备,这些设施是保证服务器和交换机等设备正常安全运转 的必要条件。基础设施主要包括服务器、存储和网络设备,这些设施用于支撑上层的业 务系统。业务信息系统是为企业或者公众提供特定信息服务的软件系统,信息服务的质 量依赖于底层服务器和网络设备的能力。只有整体统筹兼顾,才能保证数据中心的良好 运行,为用户提供高质量、可信赖的服务。 Internet IP Back 路由器 网络层 操作及管理层 防火墙 KvM系统 DS/PS 核心交换机 负载均衡 计算层 存储管理9 管理和辅助决策 电子健康档案 资产管理一 存储层 备份系统 磁盘阵列虚拟带库物理带库 图8.1数据中心示意图 当今飞速发展的信息服务和对IT系统的要求给数据中心带来了新的挑战。以往的 企业数据中心往往只简单追求计算力与性能,而当前的经济环境让企业更加注重数据中 心的成本,绿色、节能、低碳的概念逐渐深入人心。新一代绿色数据中心通过自动化的
2 务。这种计算模式中，数据中心存放服务器、存储数据并提供计算服务。互联网将全球 的计算机整合在一起，使得数据中心的发展又从分布逐渐走向集中。自 2006 年谷歌提 出云计算概念后，微软、亚马逊、IBM、雅虎等公司不断地推进云计算技术发展，促使 了数据中心朝着密集计算、超大规模和集中存储的方向转变。包含大量分布式服务器和 交换机的数据中心是云计算的核心基础设施，得到了学术界和工业界的极大关注。 图 8.1 展示了数据中心示意图。一个完整的数据中心在其建筑之中，由支撑系统、 基础设施和业务信息系统三个逻辑部分组成。支撑系统主要包括建筑、电力设备、环境 调节设备、照明设备和监控设备，这些设施是保证服务器和交换机等设备正常安全运转 的必要条件。基础设施主要包括服务器、存储和网络设备，这些设施用于支撑上层的业 务系统。业务信息系统是为企业或者公众提供特定信息服务的软件系统，信息服务的质 量依赖于底层服务器和网络设备的能力。只有整体统筹兼顾，才能保证数据中心的良好 运行，为用户提供高质量、可信赖的服务。 图 8.1 数据中心示意图 当今飞速发展的信息服务和对 IT 系统的要求给数据中心带来了新的挑战。以往的 企业数据中心往往只简单追求计算力与性能，而当前的经济环境让企业更加注重数据中 心的成本，绿色、节能、低碳的概念逐渐深入人心。新一代绿色数据中心通过自动化的
管理方式、虛拟化的资源整合方式,结合新的能源管理技术,解决数据中心日益突出的 管理复杂、能耗严重、成本增加及信息安全等方面的挑战,实现高效、节能、环保、易 于管理的数据中心。 互联网数据中心(IDC)为互联网内容提供商(ICP)、企业、媒体和各类网站提供 大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络批发带宽等业务。IDC 是对入驻企业、商户或网站服务器群托管的场所;是各种模式电子商务赖以安全运作的 基础设施,也是支持企业及其商业联盟(其分销商、供应商、客户等)实施价值链管理 的平台 数据中心不仅是一个网络概念,还是一个服务概念,它构成了网络基础资源的一部 分,提供了一种高端的数据传输服务和高速接入服务。数据中心提供给用户综合全面的 解决方案,为政府上网、企业上网、企业IT管理提供专业服务,使得企业和个人能够 迅速借助网络开展业务,把精力集中在其核心业务策划和网站建设上,而减少IT方面 的后顾之忧。IDC改变了以往互联网的运作和经营模式,使得参加互联网的每一方都能 专注其特长 互联网数据中心必须具备大规模的场地及机房设施,高速可靠的内外部网络环境, 系统化的监控支持手段等一系列条件的主机存放环境。基于这一环境,IDC对外提供依 托于互联网的一系列由主机托管到应用外包等不同层次的服务。数据中心不仅要提供快 速安全的网络,还提供对服务器监管、流量监控等网络管理方面的服务,而且要有高度 可靠的、安全的机房网络环境。 8.12数据中心网络 数据中心网络(DCN, Data center Network)是数据中心内互连大规樸服务器、 用于海量服务器数据传输与交换的网络 为了获得高系统集成度,传统的数据中心网络结构采用由交换机或路由器组成如图 82所示的三层网络结构,其主要由拥有计算服务节点的数据接入层、负责路由的汇聚 层和处于顶端的核心层组成。数据中心的核心层交换机组成树根,汇聚层是中间层,数 据接入层位于树的叶子位置。汇聚层作为服务器网关,可以增加防火墙、负载均衡和应 用加速等应用优化设备
3 管理方式、虚拟化的资源整合方式，结合新的能源管理技术，解决数据中心日益突出的 管理复杂、能耗严重、成本增加及信息安全等方面的挑战，实现高效、节能、环保、易 于管理的数据中心。 互联网数据中心（IDC）为互联网内容提供商（ICP）、企业、媒体和各类网站提供 大规模、高质量、安全可靠的专业化服务器托管、空间租用、网络批发带宽等业务。IDC 是对入驻企业、商户或网站服务器群托管的场所；是各种模式电子商务赖以安全运作的 基础设施，也是支持企业及其商业联盟（其分销商、供应商、客户等）实施价值链管理 的平台。 数据中心不仅是一个网络概念，还是一个服务概念，它构成了网络基础资源的一部 分，提供了一种高端的数据传输服务和高速接入服务。数据中心提供给用户综合全面的 解决方案，为政府上网、企业上网、企业 IT 管理提供专业服务，使得企业和个人能够 迅速借助网络开展业务，把精力集中在其核心业务策划和网站建设上，而减少 IT 方面 的后顾之忧。IDC 改变了以往互联网的运作和经营模式，使得参加互联网的每一方都能 专注其特长。 互联网数据中心必须具备大规模的场地及机房设施，高速可靠的内外部网络环境， 系统化的监控支持手段等一系列条件的主机存放环境。基于这一环境，IDC 对外提供依 托于互联网的一系列由主机托管到应用外包等不同层次的服务。数据中心不仅要提供快 速安全的网络，还提供对服务器监管、流量监控等网络管理方面的服务，而且要有高度 可靠的、安全的机房网络环境。 8.1.2 数据中心网络 数据中心网络（DCN，Data Center Network）是数据中心内互连大规模服务器、 用于海量服务器数据传输与交换的网络。 为了获得高系统集成度，传统的数据中心网络结构采用由交换机或路由器组成如图 8.2 所示的三层网络结构，其主要由拥有计算服务节点的数据接入层、负责路由的汇聚 层和处于顶端的核心层组成。数据中心的核心层交换机组成树根，汇聚层是中间层，数 据接入层位于树的叶子位置。汇聚层作为服务器网关，可以增加防火墙、负载均衡和应 用加速等应用优化设备
互联网 数据中心 核心层 汇聚层 数据接入层 图82数据中心的网络结构 传统数据中心网络的拓扑结构如图83所示。它是一个三层的树形拓扑结构,三层 分别是接入层、汇聚层与核心层。接入层采用廉价的以太网交换机与机架内的服务器相 连,由于通常放置于机架的顶端,接入层交换机也称为架顶交换机。汇聚层交换机是多 台接入层交换机的汇聚点,数据包的处理、安全策略与路由策略的部署主要在汇聚层完 成。核心层交换机通常不对数据进行处理,主要负责在各个汇聚设备之间、数据中心网 络与供应商网络之间提供高速的连接。 交换机 核心层 交换机 交换机 交换机 汇聚层 交换机 交换机 交换机 交换机 交换机 交换机接入层 服务器 交换机 电分组交换机 图83传统数据中心网络拓扑结构
4 图 8.2 数据中心的网络结构 传统数据中心网络的拓扑结构如图 8.3 所示。它是一个三层的树形拓扑结构，三层 分别是接入层、汇聚层与核心层。接入层采用廉价的以太网交换机与机架内的服务器相 连，由于通常放置于机架的顶端，接入层交换机也称为架顶交换机。汇聚层交换机是多 台接入层交换机的汇聚点，数据包的处理、安全策略与路由策略的部署主要在汇聚层完 成。核心层交换机通常不对数据进行处理，主要负责在各个汇聚设备之间、数据中心网 络与供应商网络之间提供高速的连接。 图 8.3 传统数据中心网络拓扑结构
随着云计算应用的蓬勃发展,数据中心内流量剧增。这要求数据中心网络以更少的 能耗与更低的成本提供更高带宽与更低时延的通信服务,上述需求对传统树形拓扑结构 的数据中心网络提出了很大的挑战。 ①网络能耗高。网络各层均使用电分组交换机消耗大量能量,为了保证网络设备 的正常运行而安装的制冷设备也是高能耗设备。 等分带宽小。传统数据中心网络采用树形拓扑结构,位于树根的核心交换机容 易成为带宽瓶颈、限制网络的可扩展性。如果要提高网络的等分带宽,需要购买交换能 力更强的核心层交换机,增加了网络的建设成本 ③分组时延高。数据分组从一台服务器出发到达另一台服务器,需要经过各层交 换机存储转发,多次排队过程增加了分组端到端时延。 ④管理维护难。树形拓扑不可避免地存在单点失效问题,在引入备份节点后需增 加线缆、防止环路,这样增加了布线与管理的复杂性。此外每一台网络设备都要单独配 置,难以保证全网策略的一致性。 传统的数据中心网络架构无法满足新兴网络应用对高带宽、低时延和低能耗等性能 需求,已经成为未来云计算数据中心发展的瓶颈。因而研究者们相继提出改进型电交换 数据中心网络架构以及光交换数据中心网络架构,来解决传统数据中心网络中所存在的 系列问题。 813数据中心网络体系结构 数据中心网络体系结构取决于应用计算模型。计算模型主要分为层次化模型与扁平 化两种结构。层次化模型结构如图84所示 客户端 网络层 接口层 数据层 图84计算模型层次化结构 Web应用是层次化结构的典型应用之一。层次化结构的主要特点是客户请求计算结 果需逐层访问,返回数据也要逐层沿原路返回。 计算模型扁平化结构如图85所示。其特点是数据层服务器会将结果直接返回给客
5 随着云计算应用的蓬勃发展，数据中心内流量剧增。这要求数据中心网络以更少的 能耗与更低的成本提供更高带宽与更低时延的通信服务，上述需求对传统树形拓扑结构 的数据中心网络提出了很大的挑战。 ① 网络能耗高。网络各层均使用电分组交换机消耗大量能量，为了保证网络设备 的正常运行而安装的制冷设备也是高能耗设备。 ② 等分带宽小。传统数据中心网络采用树形拓扑结构，位于树根的核心交换机容 易成为带宽瓶颈、限制网络的可扩展性。如果要提高网络的等分带宽，需要购买交换能 力更强的核心层交换机，增加了网络的建设成本。 ③ 分组时延高。数据分组从一台服务器出发到达另一台服务器，需要经过各层交 换机存储转发，多次排队过程增加了分组端到端时延。 ④ 管理维护难。树形拓扑不可避免地存在单点失效问题，在引入备份节点后需增 加线缆、防止环路，这样增加了布线与管理的复杂性。此外每一台网络设备都要单独配 置，难以保证全网策略的一致性。 传统的数据中心网络架构无法满足新兴网络应用对高带宽、低时延和低能耗等性能 需求，已经成为未来云计算数据中心发展的瓶颈。因而研究者们相继提出改进型电交换 数据中心网络架构以及光交换数据中心网络架构，来解决传统数据中心网络中所存在的 一系列问题。 8.1.3 数据中心网络体系结构 数据中心网络体系结构取决于应用计算模型。计算模型主要分为层次化模型与扁平 化两种结构。层次化模型结构如图 8.4 所示。 图 8.4 计算模型层次化结构 Web 应用是层次化结构的典型应用之一。层次化结构的主要特点是客户请求计算结 果需逐层访问，返回数据也要逐层沿原路返回。 计算模型扁平化结构如图 8.5 所示。其特点是数据层服务器会将结果直接返回给客
户,不需要再由接口层服务器进行处理。 客户端 网络层 服务器服务器 务器 服务器 接口层 数据层 图85计算模型扁平化结构 在数据中心实际组网建设中,这两种方式都不占据绝对优势,用哪种结构完全看规 划者的考虑重点在哪个方面。 82电交换数据中心网络架构 为了克服传统数据中心网络中存在的问题,研究人员相继提出了改进的电交换数据 中心网络架构。这些架构可以分成两类:一类是以交换机为核心的网络架构,由交换机 实现连接的建立和数据的转发,因此交换机需要升级相应软硬件、而服务器则无需修改 配置,典型解决方案包括 Fat-tree、ⅥL2与 Portland等。另一类是以服务器为核心的网 络架构,服务器通常装配有多个网络接口、负责网络互连和路由功能,因此服务器需要 升级相应软硬件、而交换机则无需改变,典型解决方案包括 FiOnn、 DCell与 BCube 等 821以交换机为中心的DCN架构 Fat-tree和L2架构是以交换机为中心的数据中心网络架构的典型代表 MA- Fares等人在2008年提出基于商用以太网交换机的改进型数据中心网络架构 Fat-tree,以解决传统架构组网成本高、等分带宽低以及单点失效等问题。如图86所示, Fat-tree架构部署大量价格较低的以太网交换机替代传统网络中昂贵的核心层和汇聚层 交换机,以达到降低网络组网成本的目的。胖树网络通过增加一定的线缆复杂度,使得 同一集群(Pod)内每台接入交换机与每台汇聚交换机都相连、构成完全二分图;汇聚 交换机只与部分核心交换机相连,每台核心交换机与各个集群的汇聚交换机相连,这种 Clos结构能够提供无阻塞的通信。此外,Fat-tree架构中每个接入和汇聚节点都与多个 父节点相连,这样增加了网络的连通性,在一定程度上提高了网络的可靠性、避免单点 失效问题
6 户，不需要再由接口层服务器进行处理。 图 8.5 计算模型扁平化结构 在数据中心实际组网建设中，这两种方式都不占据绝对优势，用哪种结构完全看规 划者的考虑重点在哪个方面。 8.2 电交换数据中心网络架构 为了克服传统数据中心网络中存在的问题，研究人员相继提出了改进的电交换数据 中心网络架构。这些架构可以分成两类：一类是以交换机为核心的网络架构，由交换机 实现连接的建立和数据的转发，因此交换机需要升级相应软硬件、而服务器则无需修改 配置，典型解决方案包括 Fat-tree、VL2 与 Portland 等。另一类是以服务器为核心的网 络架构，服务器通常装配有多个网络接口、负责网络互连和路由功能，因此服务器需要 升级相应软硬件、而交换机则无需改变，典型解决方案包括 FiConn、DCell 与 BCube 等。 8.2.1 以交换机为中心的 DCN 架构 Fat-tree 和 VL2 架构是以交换机为中心的数据中心网络架构的典型代表。 M.Al-Fares 等人在 2008 年提出基于商用以太网交换机的改进型数据中心网络架构 Fat-tree，以解决传统架构组网成本高、等分带宽低以及单点失效等问题。如图 8.6 所示。 Fat-tree 架构部署大量价格较低的以太网交换机替代传统网络中昂贵的核心层和汇聚层 交换机，以达到降低网络组网成本的目的。胖树网络通过增加一定的线缆复杂度，使得 同一集群（Pod）内每台接入交换机与每台汇聚交换机都相连、构成完全二分图；汇聚 交换机只与部分核心交换机相连，每台核心交换机与各个集群的汇聚交换机相连，这种 Clos 结构能够提供无阻塞的通信。此外，Fat-tree 架构中每个接入和汇聚节点都与多个 父节点相连，这样增加了网络的连通性，在一定程度上提高了网络的可靠性、避免单点 失效问题
交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 交换机 回国回回}回回回国回国回}国回 服务器 交换机 电分组交换机 图86 Fat-tree数据中心网络架构 但是Fat-tree架构仍然不能从根本上解决数据中心网络分组时延大和能耗髙等问题, 原因在于它是继承传统树形拓扑结构,仍存在下述的设计缺陷 ①扩展性差。采用Clos结构,一旦网络结构确定之后数据中心网络能够承载的服 务器数目就确定了,若服务器的数目超出上限需要改变原有的网络结构和交换设备。 ②运维复杂。Fat-tree架构是基于Clos结构连接,每台交换机都与数十台交换机相 连,随着服务器的数量急剧增加,布线将变得越来越复杂。维护以及人工成本的增长也 是数据中心运营商们关注的重点。 ③能耗过高。 Fat-tree架构均使用电以太网交换机。光一电和电一光的转换以及电 交换网络的能耗过高,对于数据中心运营商来说是一个不可忽视的关键问题 ④分组时延高。电分组交换机采用存储-转发机制,多次排队过程增大分组时延。 为保证数据中心的资源利用效率,使得大量服务器连接成为一个资源池,同时减少 汇聚层交换机和核心层交换机间的布线复杂度, Greenberg等人提出L2架构。该架构 采用10 Gbps的链路连接。汇聚层交换机和核心层交换机按Clos结构进行连接,提供了 丰富的连接,保证网络中链路的多样性。由于数据中心内部的流量具有突发性,ⅥL2中 釆用ⅥLB路由算法实现负载均匀分布在多条可用链路中。ⅥL2使用两套IP地址簇,以 保证资源连接的动态建立和释放,这两套IP地址簇分别是以位置为参考的IP地址 ( location- -specific IP address,LA)和以应用为参考的IP地址( application- specific IP dres,AA)。ⅥL2中的字典服务器会存储两套IP地址簇的映射关系,所有的服务器 都共享一套IP子空间,因此该网络被视为单一的二层域互连架构
7 图 8.6 Fat-tree 数据中心网络架构 但是 Fat-tree 架构仍然不能从根本上解决数据中心网络分组时延大和能耗高等问题， 原因在于它是继承传统树形拓扑结构，仍存在下述的设计缺陷。 ① 扩展性差。采用 Clos 结构，一旦网络结构确定之后数据中心网络能够承载的服 务器数目就确定了，若服务器的数目超出上限需要改变原有的网络结构和交换设备。 ② 运维复杂。Fat-tree 架构是基于 Clos 结构连接，每台交换机都与数十台交换机相 连，随着服务器的数量急剧增加，布线将变得越来越复杂。维护以及人工成本的增长也 是数据中心运营商们关注的重点。 ③ 能耗过高。Fat-tree 架构均使用电以太网交换机。光—电和电—光的转换以及电 交换网络的能耗过高，对于数据中心运营商来说是一个不可忽视的关键问题。 ④ 分组时延高。电分组交换机采用存储-转发机制，多次排队过程增大分组时延。 为保证数据中心的资源利用效率，使得大量服务器连接成为一个资源池，同时减少 汇聚层交换机和核心层交换机间的布线复杂度，Greenberg 等人提出 VL2 架构。该架构 采用 10Gbps 的链路连接。汇聚层交换机和核心层交换机按 Clos 结构进行连接，提供了 丰富的连接，保证网络中链路的多样性。由于数据中心内部的流量具有突发性，VL2 中 采用 VLB 路由算法实现负载均匀分布在多条可用链路中。VL2 使用两套 IP 地址簇，以 保证资源连接的动态建立和释放，这两套 IP 地址簇分别是以位置为参考的 IP 地址 （location-specific IP address，LA）和以应用为参考的 IP 地址（application-specific IP address，AA）。VL2 中的字典服务器会存储两套 IP 地址簇的映射关系，所有的服务器 都共享一套 IP 子空间，因此该网络被视为单一的二层域互连架构
822以服务器为中心的DCN架构 DCell与 BCube架构是以服务器为中心的数据中心网络架构的典型代表。 以交换机为核心的数据中心网络架构不仅需要对交换机的软件进行升级,还需要对 硬件配置进行扩展,对于大规模的数据中心网络建设增加了限制,因此研究人员提出了 以服务器为中心的网络架构。其中有学者借助服务器具有多个网络接口和数据转发功能 的特点设计出了 DCell架构,架构模型如图8.7所示。DCl利用多网卡服务器和商业 化交换机按照递归的方式实现大规模服务器互连。在 DCell中,一台交换机与n台服务 器连接构成基本单元DCel,基本单元中的一台服务器与其它基本单元中的一台服务器 相连构成第一级单元DCel,以此类推可以构建下一级单元。按这种递归方式构建的 网络中若 DCellk1中包含有t台服务器,则在DClk中含有t1+1个 DCellk-单元, 所包含的服务器的数量为t×(t-+1)。这种递归架构解决了数据中心网络的扩展性问 题,能容纳大量服务器。以n=4为例,DCel2可以容纳420台服务器, DCell3则可以 互连176820台服务器。尽管如此,从其递归的规律来看,随着网络递归层级的增加, 每台服务器需拥有更多的网络接口,而当今商用的服务器一般只有两个网络接口限制了 这种以服务器端口数量为代价的网络规模扩大。 Cello[oJ 交换机 ○服务器电分组交换机 图87DCel数据中心网络架构 与DCel相似的, BCube同样采用商业交换机按递归的方式互连大量服务器。如图
8 8.2.2 以服务器为中心的 DCN 架构 DCell 与 BCube 架构是以服务器为中心的数据中心网络架构的典型代表。 以交换机为核心的数据中心网络架构不仅需要对交换机的软件进行升级，还需要对 硬件配置进行扩展，对于大规模的数据中心网络建设增加了限制，因此研究人员提出了 以服务器为中心的网络架构。其中有学者借助服务器具有多个网络接口和数据转发功能 的特点设计出了 DCell 架构，架构模型如图 8.7 所示。DCell 利用多网卡服务器和商业 化交换机按照递归的方式实现大规模服务器互连。在 DCell 中，一台交换机与n台服务 器连接构成基本单元 DCell0，基本单元中的一台服务器与其它基本单元中的一台服务器 相连构成第一级单元 DCell1，以此类推可以构建下一级单元。按这种递归方式构建的 网络中若 DCellk-1中包含有 k1 t 台服务器，则在DCellk中含有 1 t k1 个 DCellk-1单元， 所包含的服务器的数量为 1 t k1 t k1 。这种递归架构解决了数据中心网络的扩展性问 题，能容纳大量服务器。以n 4为例，DCell2 可以容纳 420 台服务器，DCell3 则可以 互连 176820 台服务器。尽管如此，从其递归的规律来看，随着网络递归层级的增加， 每台服务器需拥有更多的网络接口，而当今商用的服务器一般只有两个网络接口限制了 这种以服务器端口数量为代价的网络规模扩大。 图 8.7 DCell 数据中心网络架构 与 DCell 相似的，BCube 同样采用商业交换机按递归的方式互连大量服务器。如图
88所示, BCube中以n台服务器与一台交换机直接相连构成基本单元 BCube0,而 BCubek由n个 BCubek-1单元与n个n端口的交换机互连构成。一个 BCubek可以容纳 n台服务器、k+1层交换机,每层交换机数量为n2。每台服务器的网络接口数为k+1, 这些接口分别被标记为 level- evelk。 BCube是以服务器为中心的网络架构,其路由方 式为源路由,源服务器在发送数据之前先发送探测分组,接收到应答分组后再按一定规 则选择合适的路径传输数据。 BCube的缺陷是服务器需要安装更多的网络接口,而当今 商用的服务器通常只有两个网络接口。 Bcube 交换机 交换机 交换机 交换机 交换机 交换机 交换机 换机 Bcube eo[1] Bcubeo[2] 4 Bcubeo[ 3] ○服务器 电分组交换机 图88 BCube数据中心网络架构 83光电混合交换数据中心网络架构 1、光互连数据中心网络架构分类 光网络在电信网络中已经被广泛应用并带来高带宽、低时延等优势。将光网络应用 至数据中心网络构建光互连数据中心网络在近年来受到广泛关注,许多新型光互连数据 中心网络架构也被提出来。光互连数据中心网络架构可以从以下两种角度进行分类。 ①光电混合/全光架构 光电混合架构是对现有数据中心网络的演进,既保留了电分组交换网络灵活、高效 优点,又充分利用光传输网络高带宽、高质量等特点。将不同特征的流量分别放在光网 络和电网络上传输,提高数据中心网络的性能。全光架构更为激进,能够为数据中心网 络提供一个高带宽、低能耗和低时延的长久解决方案。但是全光网络的建设成本过高, 光电混合网络架构可作为未来全光数据中心网络建设和使用的过渡。 ②光电路/光分组交换 交换技术可以分为两类,电路交换与分组交换。光电路交换适用于数据中心内长时
9 8.8 所示，BCube 中以 n台服务器与一台交换机直接相连构成基本单元 BCube0，而 BCubek 由n个 BCubek-1 单元与 k n 个n端口的交换机互连构成。一个 BCubek 可以容纳 k n 台服务器、k 1层交换机，每层交换机数量为 k n 。每台服务器的网络接口数为k 1， 这些接口分别被标记为 level0-levelk。BCube 是以服务器为中心的网络架构，其路由方 式为源路由，源服务器在发送数据之前先发送探测分组，接收到应答分组后再按一定规 则选择合适的路径传输数据。BCube 的缺陷是服务器需要安装更多的网络接口，而当今 商用的服务器通常只有两个网络接口。 图 8.8 BCube 数据中心网络架构 8.3 光电混合交换数据中心网络架构 1、光互连数据中心网络架构分类 光网络在电信网络中已经被广泛应用并带来高带宽、低时延等优势。将光网络应用 至数据中心网络构建光互连数据中心网络在近年来受到广泛关注，许多新型光互连数据 中心网络架构也被提出来。光互连数据中心网络架构可以从以下两种角度进行分类。 ① 光电混合/全光架构 光电混合架构是对现有数据中心网络的演进，既保留了电分组交换网络灵活、高效 优点，又充分利用光传输网络高带宽、高质量等特点。将不同特征的流量分别放在光网 络和电网络上传输，提高数据中心网络的性能。全光架构更为激进，能够为数据中心网 络提供一个高带宽、低能耗和低时延的长久解决方案。但是全光网络的建设成本过高， 光电混合网络架构可作为未来全光数据中心网络建设和使用的过渡。 ② 光电路/光分组交换 交换技术可以分为两类，电路交换与分组交换。光电路交换适用于数据中心内长时