中国料学火计算机科学与波术系 niversity of Science and Technolo ogy of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 并行计算 结构·算法·编程
并行计算 ——结构•算法•编程
中国料学火计算机科学与波术系 niversity of Science and Technolo ogy of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 并行计算——结构算店·编程 第一篇并行计算的基础 第一章并行计算机系统及其结构模型 第二章当代并行机系统:SMP、MPP和 Cluster ■第三章并行计算性能评测 第二篇并行算法的设计 ■第四章并行算法的设计基础 第五章并行算法的一般设计方法 ■第六章并行算法的基本设计技术 ■第七章并行算法的一般设计过程 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 2 2021/2/19 并行计算——结构•算法•编程 ▪ 第一篇 并行计算的基础 ▪ 第一章 并行计算机系统及其结构模型 ▪ 第二章 当代并行机系统：SMP、MPP和Cluster ▪ 第三章 并行计算性能评测 ▪ 第二篇 并行算法的设计 ▪ 第四章 并行算法的设计基础 ▪ 第五章 并行算法的一般设计方法 ▪ 第六章 并行算法的基本设计技术 ▪ 第七章 并行算法的一般设计过程
中国料学火计算机科学与波术系 niversity of Science and Technolo ogy of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 并行计算——结构算店·编程 第三篇并行数值算法 第八章基本通信操作 第九章稠密矩阵运算 ■第十章线性方程组的求解 第十一章快速傅里叶变换 第四篇并行程序设计 第十二章并行程序设计基础 ■第十三章并行程序设计模型和共享存储系统编程 ■第十四章分布存储系统并行编程 第十五章并行程序设计环境与工具 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 3 2021/2/19 并行计算——结构•算法•编程 ▪ 第三篇 并行数值算法 ▪ 第八章 基本通信操作 ▪ 第九章 稠密矩阵运算 ▪ 第十章 线性方程组的求解 ▪ 第十一章 快速傅里叶变换 ▪ 第四篇 并行程序设计 ▪ 第十二章 并行程序设计基础 ▪ 第十三章 并行程序设计模型和共享存储系统编程 ▪ 第十四章 分布存储系统并行编程 ▪ 第十五章 并行程序设计环境与工具
中国料学火计算机科学与波术系 niversity of Science and Technolo ogy of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 第一章并行计算机系统及结构模型 11并行计算 1.1.1并行计算与计算科学 112当代科学与工程问题的计算需求 12并行计算机系统互连 12.1系统互连 122静态互联网络 12.3动态互连网络 124标准互联网络 1.3并行计算机系统结构 ■1.3.1并行计算机结构模型 1.3.2并行计算机访存模型 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 4 2021/2/19 第一章并行计算机系统及结构模型 ▪ 1.1 并行计算 ▪ 1.1.1 并行计算与计算科学 ▪ 1.1.2 当代科学与工程问题的计算需求 ▪ 1.2 并行计算机系统互连 ▪ 1.2.1 系统互连 ▪ 1.2.2 静态互联网络 ▪ 1.2.3 动态互连网络 ▪ 1.2.4 标准互联网络 ▪ 1.3 并行计算机系统结构 ▪ 1.3.1 并行计算机结构模型 ▪ 1.3.2 并行计算机访存模型
中国料学火计算机科学与波术系 niversity of Science and Technolo ogy of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 并行计算 并行计算:并行机上所作的计算,又称高性能 算或超级计 计算科学:计算物理、计算化学、计算生物等 ·科学氲程题的需求i象预报:油模拟、 需求类型:计算密集、数据密集、网络密集。 美国HPCC计划:重大挑战性课题,3T性能 美国 Petaflops研究项目: Flop/s 美国ASCI计划:核武器数值模拟 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 5 2021/2/19 并行计算 ▪ 并行计算：并行机上所作的计算，又称高性能 计算或超级计算。 ▪ 计算科学：计算物理、计算化学、计算生物等 ▪ 科学与工程问题的需求：气象预报、油藏模拟、 核武器数值模拟、航天器设计、基因测序等。 ▪ 需求类型：计算密集、数据密集、网络密集。 ▪ 美国HPCC计划：重大挑战性课题，3T性能 ▪ 美国Petaflops研究项目：Pflop/s。 ▪ 美国ASCI计划：核武器数值模拟
中国料学火计算机科学与波术系 niversity of Science and Technolo ogy of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 高性能计算机 Intel (Option Red) 1Tflops, 1997, Pentium Pro SGI(Option Blue Mountain) 3Tflops, 1998, MIP S10000 IBM(Option White) 7Tflops Top4, 2001, Power 3 日本 Earth Simulator: 35Tflops, Top1, 2002, VP Hewlett-Packard ASCI Q 7Tflops, Top2, 3, 2002, Alpha Server 中国联想: 1Tflops, Top43, 2002 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 6 2021/2/19 高性能计算机 ▪ Intel （Option Red) ： 1Tflops,1997,Pentium Pro ▪ SGI(Option Blue Mountain): 3Tflops,1998,MIPS10000 ▪ IBM(Option White): 7Tflops,Top4,2001,Power3 ▪ 日本Earth Simulator: 35Tflops,Top1,2002,VP ▪ Hewlett -Packard ASCI Q ： 7Tflops ,Top2,3,2002, Alpha Server ▪ 中国联想： 1Tflops,Top43,2002
中国料学火计算机科学与波术系 niversity of Science and Technology of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 系统互连 不同带宽与距离的互连技术: 总线、SAN、LAN、MAN、WAN 100 FMIN或 交叉开 Gb/s SCI Myrinet N gb/s 千兆位以太网 光纤 100 通道 FDDI E Mb/s 快速以太网 100 Base ATM 10 Mb/s IsoEnet 以太网 10B 总线或开关SAN MAN WAN 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 7 2021/2/19 系统互连 ▪ 不同带宽与距离的互连技术: 总线、SAN、LAN、MAN、WAN 局部总线 I/O 总线 SCI HiPPI Myrinet 千兆位 以太网 光纤 通道 快速以太网 以太网 10 Base T FDDI ATM 总线或开关 SAN LAN MAN WAN 100 Gb/s 10 Gb/s 1 Gb/s 100 Mb/s 10 Mb/s IsoEnet 网络带宽 交叉开关 MIN 或 100 Base T
中国料学火计算机科学与波术系 niversity of Science and Technology of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 局部总线、工/O总线、S5AN和LAN 节点1 系统I M 4处理器总线 节点2 节点M 局部总线,存储器总线 I/0 SCS 磁盘 桥 SAN (e. g. Myrinet) I/0总线,系统总线 LAN(e.g.以太网,FDDI) 系统II □接口 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 8 2021/2/19 局部总线、I/O总线、SAN和LAN P M I/O 桥 磁盘 SAN(e.g.Myrinet) LAN(e.g.以太网,FDDI) 系统 II I/O总线, 接口 系统 I 处理器总线 局部总线,存储器总线 SCSI 节点 2 节点 N 系统总线 节点 1
中国料学火计算机科学与波术系 niversity of Science and Technology of China DEAT三 NT OF C口 MPUTER SCIENGE AND TECHNOLOr 网络性能指标 节点度( Node degree):射入或射出一个节点的边 数。在单向网络中,入射和出射边之和称为节点度。 网络直径( Network Diameter):网络中任何两个 节点之间的最长距离,即最大路径数。 对剖宽度( Bisection Width):对分网络各半所必须 移去的最少边数 对剖带宽( Bisection Bandwidth):每秒钟内,在最小的对 剖平面上通过所有连线的最大信息位(或字节)数 如果从任一节点观看网络都一样,则称网络为对称的 Symmetry 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 9 2021/2/19 网络性能指标 ▪ 节点度（Node Degree）：射入或射出一个节点的边 数。在单向网络中，入射和出射边之和称为节点度。 ▪ 网络直径（Network Diameter）： 网络中任何两个 节点之间的最长距离，即最大路径数。 ▪ 对剖宽度（Bisection Width） ：对分网络各半所必须 移去的最少边数 ▪ 对剖带宽（ Bisection Bandwidth）:每秒钟内，在最小的对 剖平面上通过所有连线的最大信息位（或字节）数 ▪ 如果从任一节点观看网络都一样，则称网络为对称的 （Symmetry）
中国料学火计算机科学与波术系 niversity of Science and Technology of China 静态互连网络与动态互连络 D三P去 静态互连网络:处理单元间有着固定连接的一类网络, 在程序执行期间,这种点到点的链接保持不变;典型的 静态网络有一维线性阵列、二维网孔、树连接、超立方 网络、立方环、洗牌交换网、蝶形网络等 动态网络:用交换开关构成的,可按应用程序的要求动 态地改变连接组态;典型的动态网络包括总线、交叉开 关和多级互连网络等。 国家高性能计算中心(合肥 2021/2/19
国家高性能计算中心（合肥） 10 2021/2/19 静态互连网络 与动态互连网络 ▪ 静态互连网络：处理单元间有着固定连接的一类网络， 在程序执行期间，这种点到点的链接保持不变；典型的 静态网络有一维线性阵列、二维网孔、树连接、超立方 网络、立方环、洗牌交换网、蝶形网络等 ▪ 动态网络：用交换开关构成的，可按应用程序的要求动 态地改变连接组态；典型的动态网络包括总线、交叉开 关和多级互连网络等
