远程SAN存储网络的设计与实现

D0I:10.13374/i.issm1001053x.2001.04.054 第26卷第4期 北京科技大学学报 Vol.26 No.4 2004年8月 Journal of University of Science and Technology Beijing Aug.2004 远程SAN存储网络的设计与实现 郝卫东》杨扬”陶丽红)刘鸿涛) 1)北京科技大学信息工程学院，北京1000832)北京科技大学网络中心，北京100083 摘要描述了覆盖天津港务局全港的远程光纤存储网络的结构，对其可扩展性以及数据传 输协议进行了分析，对10Gbit速率下长距离光纤扩展时的链路功率预算值进行了计算.结果 表明，在设计和实现远程光纤存储网时选择iSCSI和FC SAN融合的技术路线有利于在保证 性能的同时降低成本.该系统己经成功实施，并运转正常. 关键字存储网络：SAN;FC:iSCSI;链路功率预算 分类号TP393.02:TN915.04:TP393.18 对大型企业而言，经过多年信息化建设，各 络附加存储NAS(Network Attached Storage)、存储 个业务子系统都基本建立，但是它们相对分散， 区域网SAN(Storage Area Network)三种方式. 如何消除“信息化孤岛”，并实现数据的集中成了 DAS方式中，一组磁盘直接附加到服务器， 必须解决的问题.因此，在更长的距离内实现数 数据通过SCSI(小型计算机系统接口)以块的形 据的存储和处理从而保证业务程序的协作和不 式转发.其优点是实现简单，实时性强.缺点包括 间断是必要的. 总体拥有成本高，管理复杂，不便扩展等.DAS方 存储网络和传统的数据网络的需求有很多 式的扩展距离是几十米之内，可扩展的存储设备 不同.存储网络中的主要应用，如业务持续性、灾 的数量在16个以内，因此，该方式不适合用于天 难恢复、远程备份、存储按需点播(Storage on de- 津港务局远程存储网络倒， mand)、流媒体等，它们对存储网络的传输特性 在NAS方式下，存储设备直接连接到LAN, 要求是低延迟、极高带宽、低差错率，普通数据网 存储数据流在LAN上流动，它能够把存储距离 络的需求是较高带宽、低差错率、较高的延迟。 扩展到几百公里甚至更高，可连接的设备数量也 天津港务局为了实现十几个子公司的业务 相当庞大.但是，三个因素决定了NAS不适合用 数据的集中存储和处理，需要在最长直径40km 于天津港务局远程存储网络.第一，NAS中数据 的范围内实现覆盖全港的存储网络，通过在天津 传输是基于NFS(网络文件系统)等文件系统，不 港务局中心机房建设数据存储备份中心，实现企 适合处理基于数据库的应用，第二，它带宽使用 业数据的集中存储、冗余备份 效率很低，在远距离应用中实时性差.第三，难以 本文首先讨论了存储网络的可扩展性，然后 将多个NAS设备整合成一个统一的存储池，难以 分析了SAN结构下的数据传输协议，并计算了实 进行统一的集中管理， 施长距离光纤扩展时的链路功率预算值.最后给 SAN是连接发起者（如主机设备、服务器等） 出了实现天津港务局远程光纤存储网络的方法. 到目的地（如各种存储设备）的专用网络，并在不 加重企业LAN的负担的情况下传输存储数据流. 1存储网络的可扩展性分析 SAN的优点包括实时性能、高可靠性、高可用性 和高可扩展性.与NAS不同的是，在SAN中，发 从其结构的可扩展性而言，存储网络主要包 起者和目的地之间有专用的数据链路，把传统数 括直接附加存储DAS(Direct Attached Storage)、网 据流和存储数据流加以区分，这提高了用户访问 收稿日期2003-12-12郝卫东男，33岁，讲师 存储数据及相关业务的效率.因此，天津港务局 *国家“863”资助项目(No,863-300-05-04-02-00) 远程存储网络选择SAN方式实现

第 ‘ 卷 第 期 年 月 北 京 科 技 大 学 学 报 几 几 恤 远程 存储网络的设计与实现 郝卫 东 ” 杨 扬 ” 陶 丽 红 ” 刘 鸿涛 ” 北 京科技大 学信息工 程学 院 ， 北 京 北 京科 技 大学 网 络 中心 ， 北 京 摘 要 描述 了覆盖 天津港 务局 全港 的远程光 纤存储 网 络 的结构 ， 对其 可 扩 展 性 以及 数据传 输 协议进 行 了分 析 ， 对 速 率下 长 距 离光 纤扩 展 时 的链路 功 率预 算值 进行 了计 算 结 果 表 明 ， 在设 计和 实现远程 光 纤存储 网 时选择 和 融 合 的技术 路 线有 利 于 在 保 证 性 能 的 同时降低 成本 该 系统 己经 成功 实施 ， 并运转 正 常 关键字 存储 网络 链 路功率 预 算 分 类号 开 对 大型 企业 而 言 ， 经 过 多年 信 息化 建设 ， 各 个 业 务子 系 统 都基 本 建 立 ， 但 是它 们 相 对 分 散 ， 如何消 除 “ 信息化孤 岛 ” ， 并实现 数据 的集 中成 了 必 须解 决 的 问题 因此 ， 在 更 长 的距 离 内实现 数 据 的存 储 和 处 理 从 而 保 证 业 务 程 序 的协 作和 不 间 断是 必 要 的‘ 存 储 网 络 和 传 统 的数 据 网 络 的 需 求 有 很 多 不 同 存 储 网络 中 的主 要应 用 ， 如业 务持 续性 、 灾 难 恢 复 、 远 程 备份 、 存储 按 需 点播 、 流 媒体等 ， 它 们 对 存 储 网络 的传 输特 性 要求 是低 延 迟 、 极高带 宽 、 低 差错 率 普通 数据 网 络 的需 求 是较 高 带 宽 、 低 差错 率 、 较 高 的延 迟 天 津 港 务 局 为 了 实现 十 几 个 子 公 司 的业 务 数据 的集 中存 储 和 处 理 ， 需要 在 最 长 直 径 的范 围 内实现覆 盖全港 的存储 网络 通 过 在天津 港 务局 中心 机房建 设数据存储 备份 中心 ， 实现 企 业 数 据 的集 中存 储 、 冗 余 备份 本文 首 先 讨 论 了存储 网络 的可 扩 展 性 ， 然 后 分析 了 结构下 的数据 传 输协议 ， 并计 算 了实 施 长距 离光 纤扩 展 时 的链 路 功率 预 算值 最 后给 出 了实现 天津港 务局 远程 光 纤存储 网络 的方 法 存储 网络 的 可 扩 展性分 析 从其 结构 的可扩 展 性 而 言 ， 存储 网络 主 要 包 括 直 接 附加 存 储 、 网 收稿 日期 一 卜 郝卫 东 男 ， 岁 ， 讲师 国家 ， 资助项 目 一 一 一 一 一 络 附加 存储 、 存 储 区域 网 户 三 种 方 式 价， 方 式 中 ， 一 组磁 盘 直 接 附加 到 服 务器 数 据 通 过 小 型计 算机 系统 接 口 以块 的形 式转 发 其 优 点是 实现 简单 ， 实 时性 强 缺 点包 括 总体拥 有成本 高 ， 管 理 复杂 ， 不便扩 展 等 方 式 的扩 展距 离是 几 十米之 内 ， 可扩 展 的存储 设备 的数 量 在 个 以 内 因此 ， 该 方 式 不 适 合用 于 天 津 港 务 局 远 程 存储 网络‘ ， 在 方 式 下 ， 存储 设备 直 接连 接 到 ， 存 储 数 据 流 在 上 流 动 ， 它 能够 把 存 储 距 离 扩展 到几 百 公 里 甚 至 更 高 ， 可 连接 的设 备 数量 也 相 当庞 大 但 是 ， 三 个 因素 决 定 了 不 适 合 用 于 天津 港 务局 远 程 存 储 网络 第 一 ， 中数据 传 输 是基 于 网络 文件 系统 等 文件 系 统 ， 不 适 合 处理 基 于 数据 库 的应 用 第 二 ， 它 带 宽使用 效 率很低 ， 在远距 离应 用 中实 时性 差 第三 ， 难 以 将 多个 设备整合 成 一个 统 一 的存储 池 ， 难 以 进 行 统 一 的集 中管理 是连接 发起 者 如 主机 设备 、 服 务 器 等 到 目的地 如 各种存储 设 备 的专用 网络 ， 并在不 加 重 企业 的负担 的情 况 下传输存储 数据 流 的优 点包 括 实 时性 能 、 高 可 靠 性 、 高可 用性 和 高 可扩 展 性 〔 与 不 同的是 ， 在 中 ， 发 起 者和 目的地 之 间有 专 用 的数据 链 路 ， 把 传 统 数 据 流和 存 储 数据 流 加 以区 分 ， 这提 高 了用 户访 问 存储 数据 及 相 关业 务 的效率 因此 ， 天津 港 务局 远程 存储 网络 选 择 方 式 实现 DOI ：10．13374／j ．issn1001－053x．2004．04．054

·450· 北京科技大学学报 2004年第4期 2SAN结构下数据传输协议分析 Fibre Channel有三种拓扑结构，点对点方式 指两个设备之间直接互连，根据设备的HBA(主 用来实现SAN的数据传输协议主要有两种. 机总线适配卡)的不同，既可以工作在FC-AL模 较早的有FC(Fiber Channel)协议，较新的有iSCSI 式下，也可以工作在FC-SW模式下.仲裁环方式 (Internet SCSI)协议. 指采用FC-AL协议实现设备互连.交换式Fab FC是逻辑的双向点到点串行数据通道，适 ic方式指采用FC-SW协议实现设备互连，该方 合于高性能信息传输的结构，在物理上，光纤通 式比FC-AL具有更高的带宽利用率，可扩展的设 道是一个或多个点到点链路的互联，每个链路端 备更多. 终结在某个端口，FC的层次化功能集包括FCO 采用FC组建SAN的缺点是不同厂商的设备 到FC4共5层结构. 的互容性很难解决，而且在进行超过10km远距 在F℃协议的基础上传输SCSI数据流实现远 离扩展方面尚不成熟，实现成本也相对较高. 程存储业务是SAN结构的重要实现方式之一.在 当考虑在TCP/P上实现SAN时，iSCSI引起 速度扩展性方面，FC提供多种选择，从25MB/s, 了许多关注.iSCSI是在P网络上传输存储VO数 50MB/s,100MB/s,200MB/5,到1200MB/s.1200 据块的端到端协议，SCSI使用P和以太网结构 MB/s的FC,即10 Gbit FC,其名义比特速度是 来扩展对SAN存储的访问，并把SAN连接扩展 10.519 Gbit/s,完全满足企业SAN存储网络需求. 到任何距离， 10 Gbit FC描述信令和物理层服务，可以被 千兆以太网技术在一定程度上满足了存储 FC-2层的扩展版本所使用并以超过10Gbit/s的 和网络应用对带宽需求的不断增长，但是要想进 速度在FC0物理介质上发送数据.10 Gbit FC在 一步提高实时性，就需要10 GbitE(10-Gigabit Eth- FC-3层还定义了端口管理功能. enet,万兆以太网)技术.10G以太网有能力提供 10 Gbit FC的FC-1层提供了以10.5 Gbit/s的 存储和网络应用的统一的解决方案. 速率在l0 Gbit FC物理介质上传输数据的能力， 从速度的扩展性而言，SCSI标准下的数据 FC-】层把FC-2层功能适配到10 GbitE定义的 传输速率借助10 GbitE可以扩展到10Gbit/s,可 XGM接口（万兆介质独立接口）.FC-1层产生 以满足存储网络的传输特性要求.从距离的扩展 连续的数据或控制字符到发送路径并期望连续 性而言，iSCSI利用P网络的优势可以扩展十分 的数据或控制字符在接收路径，F℃-1层参与链 远（比如3000km)的距离，与10 GbitE结合则可 路容错检测并通过监控接收路径的状态报告来 以在保证10Gbit/s传输速率的前提下扩展40km. 指明不可靠的链路，并在发送路径上产生所检测 基于P的SAN可以采用以太网原有的各种 链路错误的状态报告给位于链路远端的FC-】 网络设备，包括交换机、路由器、网关等，采用经 层、 SCSI标准优化的高性能P路由器可以实现各个 10 Gbit FC提供能实现10 Gbit FC端口的可 不同的SAN孤岛之间的互联，从而把PSAN或 选的物理接口规范.另外，10 Gbit FC的FC-1层 FC SAN等各个园区范围的存储网络扩展到更远 规范可选的电子接口能被用于连接各种子层的 的距离，这对实现大型企业的远程数据容灾的应 的物理实现.这些接口包括10Gbit介质独立接口 用而言是至关重要的， XGMⅢ和10Gbit附加单元接口XAUI. 存储网络能够成功的一个关键是供应商之 在存储距离的扩展性方面，不同的介质如双 间广泛的互操作性.为了完成提供资源建立和演 绞线或光纤，提供的扩展性不同.比如，在FC-PH 示万兆以太网产品的多厂商互操作性的任务，在 (光纤通道物理层)中定义的200MB/s速率的物 2002年5月，10GEA(万兆以太网协会)在美国 理层接口的操作距离从数米到10m不等.根据 Las Vegas,,Nevada建立了世界上最大的万兆以太 美国夏威夷大学实验室的测试，在适当加以控制网互操作性网络(l0 Gigabit Ethernet Interoperabi- 的条件下，光纤通道在单模光纤上通信的距离是 lity Network).来自23家世界著名供应商的产品 大约40km.虽然10 Gbit FC在速率的扩展性方面 组成的网络包含复杂的产品范围：系统，测试装 提高很多，但是其在单模光纤上的最大距离扩展 置，组件和线缆.该端到端万兆以太网通过级联， 性仍规定为10km. 其地理距离超过200km长，展示了EEE802.3ae

北 京 科 技 大 学 学 报 年 第 期 结构 下 数 据 传 输 协 议 分 析 用 来 实现 的数 据 传 输协 议 主 要 有 两 种 较 早 的有 协 议 ， 较 新 的有 功 协 议仲 是逻辑 的双 向 点到 点 串行 数 据 通 道 ， 适 合 于 高性 能信 息传 输 的结 构 在 物 理 上 ， 光 纤 通 道 是 一 个 或 多个 点 到 点链 路 的互 联 每 个 链 路 端 终 结在 某 个 端 口 的层 次化 功 能 集 包 括 刁 到 一 共 层 结 构 在 协 议 的基 础 上 传 输 数据 流 实现 远 程存 储 业 务 是 结构 的重 要 实现 方 式之 一 在 速 度 扩 展 性 方 面 ， 提 供 多种 选 择 ， 从 ， ， ， ， 到 的 ， 即 ， 其 名 义 比 特 速 度 是 “ ， 完全 满 足 企 业 存 储 网络 需 求 描 述 信 令 和 物 理层 服 务 ， 可 以被 一 层 的扩 展 版 本 所 使 用 并 以超 过 侧 的 速 度 在 刁 物 理 介 质 上 发送数据 在 弓 层 还 定 义 了端 口 管 理 功 能 的 一 层 提 供 了 以 灯 的 速 率在 物 理 介质 上 传 输 数 据 的能力 一 层 把 一 层 功 能适配 到 定义 的 接 口 万 兆 介 质 独 立 接 口 一 层 产 生 连 续 的数 据 或 控 制 字 符 到 发送 路 径 并 期 望 连 续 的数据 或 控 制 字 符 在接 收 路 径 层 参 与 链 路 容 错 检 测 并通 过 监 控 接 收路 径 的状 态 报 告 来 指 明不 可 靠 的链 路 ， 并在 发送路 径 上产 生所检 测 链 路 错 误 的 状 态 报 告 给 位 于 链 路 远 端 的 层 提 供 能 实现 端 口 的可 选 的物 理 接 口 规 范 另外 ， 的 一 层 规 范 可 选 的 电子 接 口 能被 用 于 连 接 各 种 子 层 的 的物 理 实现 这 些接 口 包 括 介质 独 立接 口 和 附加 单 元 接 口 在 存储 距 离 的扩 展 性 方 面 ， 不 同 的介质如 双 绞 线或 光 纤 ， 提 供 的扩 展性 不 同 比如 ， 在 一 光 纤通 道物 理 层 中 定 义 的 速率 的物 理 层 接 口 的操作距 离从 数 米到 不 等 根 据 美 国夏 威 夷大学 实验 室 的测 试 ， 在适 当加 以控制 的条件 下 ， 光 纤通道在 单模光 纤 上通信 的距 离是 大 约 恤 虽 然 在 速 率 的扩 展 性 方 面 提 高很 多 ， 但 是其 在 单模 光 纤 上 的最 大距 离扩 展 性 仍 规 定 为 有 三 种 拓 扑结 构 ‘ ， 点对 点 方 式 指 两 个 设 备 之 间直接 互 连 ， 根据 设 备 的 主 机 总线 适 配 卡 的不 同 ， 既可 以工 作 在 模 式 下 ， 也 可 以工 作 在 一 模 式 下 仲 裁 环 方 式 指 采用 协 议 实现 设 备 互 连 环， 交换 式 方 式指 采 用 名 协 议 实现 设 备 互 连 ， 该 方 式 比 具有 更 高 的带 宽利 用 率 ， 可扩 展 的设 备 更 多 采 用 组 建 的缺 点 是 不 同厂 商 的设 备 的互 容性 很 难 解 决 ， 而 且 在 进 行 超 过 远 距 离扩 展 方 面 尚不 成 熟 ， 实现 成 本 也 相 对 较 高 当考 虑 在 八 上 实 现 时 ， 引起 了许 多 关注 是 在 ， 网络 上 传 输 存储 数 据 块 的端 到端 协 议 使 用 和 以太 网 结 构 来 扩 展 对 存 储 的访 问 ， 并把 连 接 扩 展 到 任 何距 离 千 兆 以太 网 技 术 在 一 定程 度 上 满 足 了存 储 和 网络应 用 对 带 宽需求 的不 断增 长 ， 但 是 要想 进 一 步提 高 实 时 性 ， 就 需 要 ， 万 兆 以太 网 技 术 以太 网有 能 力提 供 存 储 和 网络 应 用 的统 一 的解 决方 案 从 速 度 的扩 展 性 而 言 ， 标准 下 的数据 传输速率借 助 可 以扩 展 到 ， 可 以满足存储 网络 的传输特性 要 求 从 距 离 的扩 展 性 而 言 ， 利用 网络 的优 势 可 以扩 展 十 分 远 比 如 的距 离 ， 与 结 合 则 可 以在 保证 确 传 输速 率 的前提 下 扩 展 基 于 的 可 以采 用 以太 网 原有 的各种 网络 设 备 ， 包 括 交 换机 、 路 由器 、 网关等 采 用 经 标 准 优 化 的 高性 能 路 由器 可 以实现 各 个 不 同 的 孤 岛之 间 的互 联 ， 从 而 把 或 等 各 个 园 区 范 围 的存 储 网络 扩 展 到更 远 的距 离 ， 这对 实现 大型 企业 的远 程 数据 容 灾 的应 用 而 言是 至 关 重 要 的 存 储 网 络 能 够 成 功 的 一 个 关 键 是 供 应 商之 间广 泛 的互操作 性 为 了完成 提供 资源 建立 和 演 示 万 兆 以太 网产 品 的多厂 商 互 操作 性 的任 务 ， 在 年 月 ， 万 兆 以太 网协会 在美 国 ， 建 立 了世 界 上 最 大 的万 兆 以太 网互操作性 网络 加 来 自 家世 界 著名 供应 商 的产 品 组 成 的 网络 包 含 复杂 的产 品 范 围 系 统 ， 测 试 装 置 ， 组件和 线 缆 该端 到端万 兆 以太 网通过 级联 ， 其 地 理 距 离超 过 长 ， 展 示 了

Vol.26 No.4 郝卫东等：远程SAN存储网络的设计与实现 ·451· 标准中7种PMD端口类型的5种 1.5dB的预算给连接和熔接损失，对单模光纤而 采用P组建SAN也有自身的缺点，SCSI数 言，分配了2dB. 据读写请求首先要在提出请求的发起者经过整 对不同波长的光纤，EC60793-2规定了不同 个TCPP协议栈，然后经过P网络到达目的地， 的最大衰减量如表1所示， 并同样经过整个TCP/P协议栈将封装的SCSI读 写请求命令解封装后进行处理，因此采用SCSI 表1标准单模光纤的衰减 时网络协议开销相对大，存储数据读写的效率比 Table 1 Attenuation of standard single-mode fibre FC SAN低. IEC60793-2规定的最典型的线缆衰 波长/加m 根据上述分析，FC SAN方式在企业级存储 大衰减量(dB-km) 减量(dB-km) 1310 0.4 0.35 网络中是较成熟的应用，而当需要把企业级SAN 1550 0.3 0.25 孤岛远程互联起来时则需要基于P的SAN技术， 设计的10 GBase--E链路工程在表2中提供了 3存储网络在扩展距离时的链路 l0 GBase-E以太网的操作距离，该距离受限于信 功率计算 道插入损失、线缆带宽（对多模光纤），以及光收 发特征（即PMD类型）. 在设计存储网络时，除了考虑网络拓扑，协 议选型（选择PSAN还是FC SAN)等之外，需要 表210 GBase-E链路功率预算 考虑的关键因素之一是光缆的链路功率预算.它 Table 2 Link power budget of 10 GBase-E link 是与光缆的操作距离以及光纤熔接损失和连接 操作距 信道插入 功率补 链路功率 器的数量等有关的关键参数，它描述与光纤接口 离，Lkm 损失，odB 偿，PdB 预算，P/dB 相关的指定波长的传输性能.该链路功率预算等 30 11 3.6 15.0 于发送到光纤中的最小发送功率与接收器的最 40 11 4.0 15.0 小接收灵敏度之间的差.所谓接收器灵敏度是在 指定的操作条件下维持所需的信噪比所必须的 10 GBase-E情况下距离大于30am时被考虑 最小功率.以P表示链路功率预算，P表示发送功 为“工程化链路”，因为为了达到该距离，线缆所 率，P表示接收灵敏度，单位都为dB,则有： 需的衰减要小于标准单模光纤的最小规范（如 P=minP-minP (1) 表1).当设计的10 GBase-E链路大于30km时， 链路功率预算确定了在发送器和接收器之 需要进行光缆链路损失计算，以确保在该链路中 间由于衰减和其他因素引入的总损失的数量.因 的各个组件的总损失不超过表2所示的11dB的 此，链路功率预算还可以用信道插入损失和功率 信道插入损失规范. 补偿表示.信道插入损失定义为线缆和连接的损 根据天津港的具体情况，选取30,35,40km 失.功率补偿主要考虑由于散射而导致的符号间 三种情况计算，结果如表3 干扰等因素引起的光信号质量下降.以表示信 表3长距离光纤链路设计的实例 道插入损失，以P,表示功率补偿，以P表示功率 Table 3 Examples of long distance fibre link design 预算余量，则链路功率预算可以表示成： 实信道插入单位距离连接器和熔 最大链路 P。=o+P十P (2) 例损失，cdB衰减，o/dB接损失，o/dB 距离，Lkm 信道插入损失包含指定线缆在每段操作距 1 11 0.225 2 40 离上的损失，熔接损失以及两个连接的损失.一 2 11 0.257 2 35 个连接包含一组匹配的成对光纤连接器.信道插 3 11 0.300 2 30 入损失可以表示成： 0=0L十G1 (3) 如表3所示（实例1）给定光缆衰减是0.225 其中，表示指定光纤在单位距离上的线缆损 dB·km',40km链路的光缆衰减是9dB.若对单模 失，dB/km:L表示链路距离，km;历表示熔接损失 光纤而言连接器和熔接损失是2B,则可以保证 以及两个连接的损失，对多模光纤而言，分配了 10 GBase-E所允许的1】dB的信道插入损失并确

郝 卫 东等 远 程 存储 网 络 的设 计 与实现 标 准 中 种 端 口 类 型 的 种 采用 组 建 也 有 自身 的 缺 点 数 据 读 写请 求 首先 要 在 提 出请 求 的发起 者 经 过整 个 八 协 议 栈 ， 然 后 经 过 网络 到达 目的地 ， 并 同样 经 过 整 个 仰 协 议 栈将 封装 的 读 写 请 求命 令解 封 装 后 进 行 处 理 ， 因 此 采 用 时 网络 协 议 开销相对 大 ， 存 储数据 读 写 的效 率 比 低 根 据上 述 分 析 ， 方 式在 企业 级 存储 网络 中是较 成 熟 的应用 ， 而 当需 要 把 企 业 级 孤 岛远程互 联起 来 时则 需要 基 于 的 技术 的预 算 给 连 接 和 熔 接 损 失 ， 言 ， 分 配 了 对 单 模 光 纤 而 对 不 同波 长 的光 纤 ， 毛 规 定 了不 同 的最 大 衰 减 量 氏 如 表 所 示 表 标 准 单模 光 纤 的 衰减 一 波 长角 佗 规定 的最 大衰 减 量 一 今 典型 的 线缆衰 减量 一 存储 网络 在 扩 展 距 离 时 的链 路 功 率计 算 在 设 计存 储 网络 时 ， 除 了考 虑 网络 拓 扑 ， 协 议 选 型 选 择 还 是 等之 外 ， 需要 考 虑 的关键 因素之 一 是光 缆 的链 路 功率预 算 它 是 与 光 缆 的操 作 距 离 以及 光 纤熔 接 损 失 和 连 接 器 的数量 等有 关 的关键 参 数 ， 它 描述 与光 纤接 口 相 关 的指定 波 长 的传输性 能 该链 路 功 率预 算等 于 发送 到 光 纤 中 的最 小 发 送 功 率 与接 收器 的最 小接 收灵 敏度 之 间 的差 所谓接 收器 灵敏度 是在 指 定 的操 作 条件 下 维 持 所 需 的信 噪 比 所 必 须 的 最 小功率 以几表 示链 路 功率 预 算 ， 表 示 发送 功 率 ， 表 示 接 收灵 敏度 ， 单 位 都 为 ， 则 有 二 一 只 链 路 功 率 预 算 确 定 了在 发 送 器 和 接 收 器 之 间 由于 衰减和 其 他 因素 引入 的总损 失 的数 量 因 此 ， 链路 功 率预 算还可 以用信道插 入损 失和 功 率 补偿 表 示 信道插 入损 失定义 为线 缆和 连 接 的损 失 功 率补偿 主 要 考 虑 由于 散射而 导致 的符 号 间 干 扰 等 因素 引起 的光 信 号质量 下 降 ， 以。 表 示 信 道插 入 损 失 ， 以凡表 示 功 率补偿 ， 以 表 示 功率 预算 余 量 ， 则链 路 功 率 预 算 可 以表 示 成 八 二 叶尸 氏 信 道 插 入 损 失 包 含 指 定 线 缆 在 每 段 操 作 距 离上 的损 失 ， 熔 接损 失 以及 两 个 连 接 的损 失 一 个连接包 含 一 组 匹配 的成 对 光 纤连 接器 信道插 入 损 失可 以表 示成 口泌 其 中 ， 丙 表 示 指 定 光 纤 在 单 位 距 离 上 的 线 缆 损 失 ， 瓜 表 示 链 路距 离 ， 氏 表 示熔 接 损 失 以及 两 个 连 接 的损 失 ， 对 多模光 纤而 言 ， 分配 了 设 计 的 韶 ， 链 路 工程在 表 中提 供 了 以太 网 的操作 距 离 ， 该 距 离 受 限于信 道插 入 损 失 、 线 缆 带 宽 对 多模 光 纤 ， 以及 光 收 发特 征 即 类 型 表 卜 链 路功 率预 算 卜 操 作距 离声瓜 信道插入 损 失 户妞 功 率 补 偿 ，尸洲 链路 功率 预算 ，尸创 ， 祀 情 况 下 距 离 大 于 幻 时被 考 虑 为 “ 工 程 化 链 路 ” ， 因 为 为 了达 到 该距 离 ， 线 缆所 需 的衰 减 要 小 于 标 准 单 模 光 纤 的最 小 规 范 如 表 当设 计 的 毛 链 路 大 于 时 ， 需 要进行 光 缆链路 损 失 计 算 ， 以确 保 在 该链路 中 的各个 组 件 的 总损 失 不 超 过表 所 示 的 的 信道 插入 损失 规 范 ， 根据 天津 港 的具 体 情 况 ， 选 取 ， ， 三 种 情 况 计 算 ， 结 果 如 表 表 长距 离光 纤 链路设 计 的 实例 实 信道插入 单 位距 离 连 接器和 熔 例 损 失洲 衰减 ， 接 损失两 最 大 链路 距 离声瓜 八﹄、、 曰工﹃ 如 表 所 示 实例 给 定光 缆 衰 减 是 一 ，， 链 路 的光 缆 衰减是 若对单模 光 纤而 言连接 器 和 熔 接损 失是 ， 则可 以保 证 所 允许 的 的信道 插 入 损 失 并确

452· 北京科技大学学报 2004年第4期 保该链路达到40km, 在存储系统中，就硬件而言，选择美国EMC 在安装大于30am距离的光缆时，需要现场 公司的Clariion FC4700-2高性能磁盘阵列以及 测试来验证其是否符合表3所示的信道衰减和 EMC光纤SAN交换机：就软件而言，使用EMC 损失规范，对所安装的光缆进行插入损失的检测 公司的Mirror View实现远程数据备份和复制，使 遵循ANSI/TLA/ELA-526-14A/方法B,以及ANS/ 用EMC公司的Snap View智能软件对保存在Clari- TIAEIA-526-7/方法A-1. ion FC4700-2系统中的信息提供时间点映像，用 户可以随时查看数据并用做备份、查询等.为了 4结果及结论 保证在混合平台环境中的数据访问，采用EMC 公司的Access Logix软件通过安全的方式访问 根据上述的分析和计算，在天津港务局大楼 FC4700-2磁盘阵列. 中心机房采用基于FC-SW的SAN结构，而在中 该系统已经成功实施并运转正常，应用结果 心机房与各个子公司之间的远程连接上采用基 表明，在实现远程光纤存储网时选择SCSI和FC 于P的SAN结构.这既结合了前者的高效率和 SAN融合的技术路线有利于在保证性能的同时 实时性，又结合了后者的远程可扩展性，同时避 降低成本，并实现了厂商产品之间广泛的互操作 免了采用全FC SAN结构时的高成本， 性，天津港务局远程SAN存储网络的建设不仅通 为了实现天津港务局的实时远程数据集中 过数据集中提高了企业内部的信息化管理水平， 的应用，必须保证数据在远程站点和本地站点之 而且实现了高水准的数据容错体系，从而保证企 间的复制以极低的延迟进行，目前在天津港务局 业信息系统具有不间断稳定可靠运行的能力， 中心机房内部采用2Gbit的FC SAN交换机，在 中心机房与各个子公司之间的远程链路上采用 参考文献 1Gbit的千兆以太网技术.由于所选择的交换机 1郝卫东，刘鸿涛，文哲明.企业网组建指南M.北京： 支持万兆以太网，而且光缆设计和敷设时考虑了 清华大学出版社，2001 万兆速率下的光缆链路损失，因此将来必要时可 2 Bassi JS,Moor A.Managing data storage in the network 以平滑过渡到万兆以太网， Plank [J].IEEE Internet Comput,2001,5(5):50 天津港务局远程存储网络包括覆盖全港40 3韩德志.高速光纤通道技术在RAID系统中的应用 个节点的全长150km左右的港区光纤网，以及相 [).微型电脑应用，2000,16(5)：60 关的计算机网络系统、服务器系统、存储网络系 4 Yianilos P N,Sobti S.The evolving field of distributed 统.在设备选型方面，港务局中心机房选择了2 storage [J].IEEE Internet Comput,2001,5(5):35 5 Heath JR,Yakutis P J.High speed storage area networks 台美国AVAYA公司的P882核心交换机，各个分 using a fibre channel arbitrated loop interconnect [J]. 公司的40个节点采用数台AVAYA P580核心交 IEEE Network,2000,14(2):51 换机以及数十台AVAYA P330工作组交换机.港 6李洋，周敬利，余胜生.FC-AL远程镜像存储系统设 务局中心机房选择了美国BM公司的P660小型 计与实现[刀.华中理工大学学报，2000,28(5)：50 机及多台BMX250服务器作为业务运行平台. Design and Implementation of Remote SAN Storage Network HAO Weidong",YANG Yang",TAO Lihong",Liu Hongtao 1)Information Engineering School,University of Science and Technology Beijing,Beijing 100083,China 2)Network Center,University of Science and Technology Beijing,Beijing 100083,China ABSTRACT The key structure of the remote fiber storage network in Tianjin Port of China was developed.The expansibility and data transport protocols were analyzed.The link power budget formula was presented in the long distance optical fiber at the data speed of 10 Gbit per second.It is concluded that the method of merging iSCSI and FC SAN is feasible in designing and implementing remote fiber storage network,which kept the performance steady and decreased the cost.The practical system was implemented successfully. KEY WORDS storage network;SAN;FC;iSCSI;link power budget

北 京 科 技 大 学 学 报 年 第 期 保 该 链路 达 到 在 安装 大 于 距 离 的光 缆 时 ， 需 要 现 场 测 试 来 验证 其 是 否 符 合 表 所 示 的 信 道 衰 减 和 损 失规 范 对 所 安装的光 缆进行插 入损 失 的检 测 遵 循 一 一 户以方 法 ， 以及 认 叶 一 方 法 一 结 果 及 结 论 根据 上述 的分 析和 计 算 ， 在 天 津 港 务局 大 楼 中心 机 房 采 用 基 于 的 结 构 ， 而 在 中 心 机 房 与 各 个 子 公 司之 间 的远程连 接 上 采 用 基 于 的 结构 这 既 结合 了前 者 的高效 率 和 实时性 ， 又 结 合 了后 者 的远程 可 扩 展 性 ， 同时避 免 了采 用全 结 构 时 的高成 本 为 了 实现 天 津 港 务 局 的 实 时 远 程 数 据 集 中 的应用 ， 必 须 保证 数据 在远 程 站 点和 本地 站 点之 间 的复制 以极低 的延 迟进 行 目前 在 天津港务局 中心 机 房 内部 采 用 的 交换机 ， 在 中心 机 房 与 各 个 子 公 司之 间 的远 程 链 路 上 采 用 的千 兆 以太 网技 术 由于所 选择 的交 换 机 支 持万兆 以太 网 ， 而 且 光 缆 设计 和 敷设 时 考虑 了 万 兆速率 下 的光 缆链 路损 失 ， 因此 将来 必 要 时可 以平滑 过 渡 到 万 兆 以太 网 天津港 务 局 远程 存储 网 络包 括 覆 盖 全 港 个 节 点 的全 长 左右 的港 区 光 纤 网 ， 以及相 关 的计 算 机 网络 系 统 、 服 务 器 系 统 、 存 储 网络 系 统 在 设 备 选 型 方 面 ， 港 务局 中心 机 房选 择 了 台美 国 访公认 公 司 的 核 心 交 换 机 ， 各个 分 公 司 的 个 节 点采 用 数 台 诗 核 心 交 换机 以及 数 十 台 户八俏万 工 作 组 交 换机 港 务 局 中心 机房选择 了美 国 公 司 的 小 型 机 及 多 台 服 务 器 作 为业 务 运行 平 台 在 存储 系 统 中 ， 就硬件 而 言 ， 选择 美 国 公 司 的 刁 高 性 能磁 盘 阵列 以及 光 纤 交换 机 就 软 件而 言 ， 使用 公 司 的 打 实 现远程数 据 备份 和 复制 ， 使 用 公 司 的 智 能软件对保存在 一 系统 中 的信 息 提 供 时 间 点 映像 ， 用 户 可 以随 时 查 看 数据 并用 做备 份 、 查 询 等 为了 保 证 在 混 合 平 台环 境 中 的数 据 访 问 ， 采 用 公 司 的 软 件 通 过 安全 的方 式 访 问 佗 磁 盘 阵 列 该 系 统 己 经 成 功 实 施 并运 转 正 常 应 用 结 果 表 明 ， 在 实现远程 光 纤存 储 网 时选择 和 融 合 的技 术 路 线 有利 于 在 保 证 性 能 的 同 时 降低 成 本 ， 并 实现 了厂 商 产 品之 间广泛 的互 操 作 性 天津港务 局 远程 存储 网络 的建 设 不仅通 过 数据集 中提 高 了企业 内部 的信 息化管理水 平 ， 而 且 实现 了高水 准 的数据 容错 体 系 ， 从 而 保证 企 业 信 息 系统 具 有 不 间断稳 定可 靠运行 的能 力 参 考 文 献 郝 卫 东 ， 刘 鸿涛 ，文 哲 明 企 业 网组 建指南 北 京 清 华大 学 出版社 ， ， 助昭 日 】 ， ， 韩德 志 高速 光纤 通 道技术在 系统 中的应用 微 型 电脑应 用 ， ， 耐 ， 口 爪 以 爪 ， ， ， 泌田 〔刀 ， ， 李洋 ， 周 敬利 ， 余胜 生 一 远 程镜像存储系统设 计与 实现 华 中理 工 大 学 学报 ， ， 元 凡搜口 肠 尹啥 气 灿口 叩 刀 口 ’ 丫 ， ” 嘛 ， 叭 飞 ， 呢 ， 七澎 ， 几 加 ， ， 权理 枷 业 叩 幻。 勺刀。 ， ， 彻