并行计算 结构•算法·编程 主讲教师：谢磊
并行计算 ——结构•算法•编程 主讲教师：谢磊
第一章并行计算机系统及结构模型 *1.1并行计算 *1.1.1并行计算与计算科学 * 1.1.2当代科学与工程问题的计算需求 *1.2并行计算机系统互连 *1.2.1系统互连 *1.2.2静态互联网络 *1.23动态互连网络 *1.2.4标准互联网络 * 1.3并行计算机系统结构 *13.1并行计算机结构模型 13.2并行计算机访存模型 4 2021/9/1
* 1.1 并⾏计算 * 1.1.1 并⾏计算与计算科学 * 1.1.2 当代科学与⼯程问题的计算需求 * 1.2 并⾏计算机系统互连 * 1.2.1 系统互连 * 1.2.2 静态互联⽹络 * 1.2.3 动态互连⽹络 * 1.2.4 标准互联⽹络 * 1.3 并⾏计算机系统结构 * 1.3.1 并⾏计算机结构模型 * 1.3.2 并⾏计算机访存模型 4 2021/9/1 第一章并行计算机系统及结构模型
并行计算 并行计算 著行机上所作的计年，又称高准能计算或超级计 米 米 Parallel Computing Multiple processes cooperating to solve a single problem. A Parallel Computer is a"collection of processing elements that communicate and cooperate to solve large problem fast"[David E.Culler] *三大科学 *计算科学、理论科学与实验科学 米 计算科学 *计算物理、计算化学、计算生物等 5 2021/9/1
* 并⾏计算 * 并⾏机上所作的计算，又称⾼性能计算或超级计 算。 * Parallel Computing：Multiple processes cooperating to solve a single problem. * A Parallel Computer is a “collection of processing elements that communicate and cooperate to solve large problem fast” [David E. Culler] * 三⼤科学 * 计算科学、理论科学与实验科学 * 计算科学 * 计算物理、计算化学、计算⽣物等 5 2021/9/1 并行计算
并行计算 科学与工程问题的需求 *气象预报、油藏模拟、核武器数值模拟、航天器 设计、基因测序等。 *需求类型 *计算密集、数据密集、网络密集。 *美国HPCC计划：重大挑战性课题，3T性能 *美国Petaflops研究项目：Pflop/s。 *美国ASCI计划：核武器数值模拟。 2021/9/1
* 科学与⼯程问题的需求 * ⽓象预报、油藏模拟、核武器数值模拟、航天器 设计、基因测序等。 * 需求类型 * 计算密集、数据密集、⽹络密集。 * 美国HPCC计划：重⼤挑战性课题，3T性能 * 美国Petaflops研究项目：Pflop/s。 * 美国ASCI计划：核武器数值模拟。 6 2021/9/1 并行计算
高性能计算机 Period Supercomputer Peak speed Location 1946-1956 U.of Pennsylvania ENIAC 50 kFLOPS Aberdeen Proving Ground,Maryland,USA 1956-1958 MITTX-0 83 kFLOPS Massachusetts Inst.of Technology,Lexington,Massachusetts,USA 1958-1960 IBM SAGE 400 kFLOPS U.S.Air Force,USA 1960-1961 UNIVAC LARC 500 kFLOPS Lawrence Livermore National Laboratory,California,USA 1961-1964 IBM 7030 "Stretch" 1.2 MFLOPS Los Alamos National Laboratory,New Mexico,USA 1964-1969 CDC 6600 3 MFLOPS Lawrence Livermore National Laboratory,California,USA 1969-1974 CDC 7600 36 MFLOPS Lawrence Livermore National Laboratory,California,USA 1974-1975 CDC Star-100 100 MFLOPS Lawrence Livermore National Laboratory,California,USA 1975-1976 Burroughs ILLIAC IV 150 MFLOPS NASA Ames Research Center,California,USA 1976-1981 Cray-1 250 MFLOPS Los Alamos National Laboratory,New Mexico,USA(80+sold worldwide) 2021/9/1
7 2021/9/1 高性能计算机 Period Supercomputer Peak speed Location 1946–1956 U. of Pennsylvania ENIAC 50 kFLOPS Aberdeen Proving Ground, Maryland, USA 1956–1958 MIT TX-0 83 kFLOPS Massachusetts Inst. of Technology, Lexington, Massachusetts, USA 1958–1960 IBM SAGE 400 kFLOPS U.S. Air Force, USA 1960–1961 UNIVAC LARC 500 kFLOPS Lawrence Livermore National Laboratory, California, USA 1961–1964 IBM 7030 "Stretch" 1.2 MFLOPS Los Alamos National Laboratory, New Mexico, USA 1964–1969 CDC 6600 3 MFLOPS Lawrence Livermore National Laboratory, California, USA 1969–1974 CDC 7600 36 MFLOPS Lawrence Livermore National Laboratory, California, USA 1974–1975 CDC Star-100 100 MFLOPS Lawrence Livermore National Laboratory, California, USA 1975–1976 Burroughs ILLIAC IV 150 MFLOPS NASA Ames Research Center, California, USA 1976–1981 Cray-1 250 MFLOPS Los Alamos National Laboratory, New Mexico, USA (80+ sold worldwide)
高性能计算机 1981-1983 CDC Cyber 205 400 MFLOPS (numerous sites worldwide) 1983-1984 Cray X-MP/4 941 MFLOPS Los Alamos Lawrence Livermore Nat.Laboratories,Battelle, Boeing 1984-1985 M13 2.4 GFLOPS Scientific Research Institute of Computer Complexes,Moscow,USSR 1985-1989 Crav-2/8 3.9 GFLOPS Lawrence Livermore National Laboratory,California,USA 1989-1993 ETA10-G/8 10.3 GFLOPS Florida State University,Florida,USA 1993-1994 Thinking Machines CM-5 37.5 GFLOPS Los Alamos National Laboratory,California,USA 1994-1995 Fujitsu Numerical Wind Tunnel 236 GFLOPS 卫 National Aerospace Lab,Japan 1995-2000 Intel ASCI Red 2.15 TFLOPS Sandia National Laboratories,New Mexico,USA 2000-2002 9.216 IBM ASCI White TFLOPS Lawrence Livermore National Laboratory,California,USA 2002.6-2004 NEC Earth Simulator 35.86 TFLOPS Yokohama Institute for Earth Sciences,Japan 8 2021/9/1
8 2021/9/1 高性能计算机 1981–1983 CDC Cyber 205 400 MFLOPS (numerous sites worldwide) 1983–1984 Cray X-MP/4 941 MFLOPS Los Alamos & Lawrence Livermore Nat. Laboratories, Battelle, Boeing 1984–1985 M-13 2.4 GFLOPS Scientific Research Institute of Computer Complexes, Moscow, USSR 1985–1989 Cray-2/8 3.9 GFLOPS Lawrence Livermore National Laboratory, California, USA 1989–1993 ETA10-G/8 10.3 GFLOPS Florida State University, Florida, USA 1993–1994 Thinking Machines CM-5 37.5 GFLOPS Los Alamos National Laboratory, California, USA 1994–1995 Fujitsu Numerical Wind Tunnel II 236 GFLOPS National Aerospace Lab, Japan 1995–2000 Intel ASCI Red 2.15 TFLOPS Sandia National Laboratories, New Mexico, USA 2000–2002 IBM ASCI White 9.216 TFLOPS Lawrence Livermore National Laboratory, California, USA 2002.6–2004 NEC Earth Simulator 35.86 TFLOPS Yokohama Institute for Earth Sciences, Japan
高性能计算机 2004.11- IBM Blue Gene/L 2005.6 74 TFLOPS IBM,Rochester,Minnesota,USA prototype 2005.6- IBM Blue Gene/L 2005.11 135.5 TFLOPS prototype IBM,Rochester,Minnesota,USA 2005.11- IBM Blue Gene/L 2007.6 280.6 TFLOPS IBM,Rochester,Minnesota,USA prototype 2007.11 IBM Blue Gene/L 478.2 TFLOPS prototype IBM,Rochester,Minnesota,USA 2008.6 IBM Roadrunner 1.026 PFLOPS IBM.Los Alamos.USA 2008.11- 2009.6 IBM Roadrunner 1.105 PFLOPS IBM.Los Alamos.USA 2009.11- 1.759 2010.6 Cray Jaguar PFLOPS Cray,Oak Ridge National Laboratory,USA 2013 天河2号 54.9PFlops 国防科技大学，中国 2017 神威太湖之光 93.015PFlops 国家并行计算机工程技术研究中心，中国 2020 Fugaku富岳 415.530PF1ops 日本理化学研究所(RIKEN)与富士通公司 9 2021/9/1
9 2021/9/1 2004.11– 高性能计算机 2005.6 IBM Blue Gene/L prototype 74 TFLOPS IBM, Rochester, Minnesota, USA 2005.6– 2005.11 IBM Blue Gene/L prototype 135.5 TFLOPS IBM, Rochester, Minnesota, USA 2005.11– 2007.6 IBM Blue Gene/L prototype 280.6 TFLOPS IBM, Rochester, Minnesota, USA 2007.11 IBM Blue Gene/L prototype 478.2 TFLOPS IBM, Rochester, Minnesota, USA 2008.6 IBM Roadrunner 1.026 PFLOPS IBM, Los Alamos, USA 2008.11– 2009.6 IBM Roadrunner 1.105 PFLOPS IBM, Los Alamos, USA 2009.11- 2010.6 Cray Jaguar 1.759 PFLOPS Cray, Oak Ridge National Laboratory, USA 2013 2017 2020 天河2号 神威·太湖之光 Fugaku富岳 54.9PFlops 93.015PFlops 415.530 PFlops 国防科技大学，中国 国家并行计算机工程技术研究中心，中国 日本理化学研究所(RIKEN) 与富士通公司
全球十大最快超级计算机 中国位居第一(2013年》 *2013年，美联储科技杂志对全球超级计算机进行了 排名，选出了其中最快的十台，其中中国有两台超 级计算机入榜，并且“天河二号”凭借着双精度浮点 运算峰值速度达到每秒5.49亿亿次问鼎该宝座。 *这也是中国超级计算机时隔两年半后运算速度重返 世界之巅。此前的2010年11月，“天河一号”曾以每秒 47千万亿次的峰值速度，首次登上超级计算领域顶 峰。 10 2021/9/1
* 2013年，美联储科技杂志对全球超级计算机进⾏了 排名，选出了其中最快的⼗台，其中中国有两台超 级计算机⼊榜，并且“天河⼆号”凭借着双精度浮点 运算峰值速度达到每秒5.49亿亿次问鼎该宝座。 * 这也是中国超级计算机时隔两年半后运算速度重返 世界之巅。此前的2010年11月，“天河⼀号”曾以每秒 4.7千万亿次的峰值速度，首次登上超级计算领域顶 峰。 全球十大最快超级计算机 中国位居第一（2013年） 10 2021/9/1
全球十大最快超级计算机 中国位居第一(2013年》 *“天河二号”由国防科大研制的天河二号超级计算机 系统，以峰值计算速度每秒5.49亿亿次、持续计算 速度每秒339亿亿次双精度浮，点运算的优异性能位居 榜首，成为全球最快超级计算机。 * 此外本次全球超级计算机排行前十名分别是天河二 号、泰坦、红杉超级计算机、K Computer、米拉、 Stampede、Juqueen、vulcan、SuperMUC、天河一 号。 11 2021/9/1
* “天河⼆号”由国防科⼤研制的天河⼆号超级计算机 系统，以峰值计算速度每秒5.49亿亿次、持续计算 速度每秒3.39亿亿次双精度浮点运算的优异性能位居 榜首，成为全球最快超级计算机。 * 此外本次全球超级计算机排⾏前⼗名分别是天河⼆ 号、泰坦、红杉超级计算机、K Computer、米拉、 Stampede、Juqueen、vulcan、SuperMUC、天河⼀ 号。 全球十大最快超级计算机 中国位居第一（2013年） 11 2021/9/1
神威：太湖之光超级计算机(2016年》 * 2016年6月20日，T0P500组织在法兰克福世界超算大会 (ISC)上，“神威·太湖之光”超级计算机系统登顶榜单 之首，成为世界上首台运算速度超过十亿亿次的超级 计算机。而“中国芯“申威26010”的问世，也成为中 国自主研发打破30年技术封锁的一柄利器。 *峰值性能125.436 PFlops,世界第一；持续性能 93.015 PFlops,世界第一；性能功耗比6051 MFlops/W, 还是世界第一。 12 2021/9/1
* 2016年6月20日，TOP500组织在法兰克福世界超算⼤会 （ISC）上， “神威·太湖之光”超级计算机系统登顶榜单 之首，成为世界上首台运算速度超过⼗亿亿次的超级 计算机。 ⽽“中国芯”“申威26010”的问世，也成为中 国自主研发打破30年技术封锁的⼀柄利器。 * 峰值性能125.436PFlops，世界第⼀；持续性能 93.015PFlops，世界第⼀；性能功耗比6051MFlops/W， 还是世界第⼀。 神威·太湖之光超级计算机（2016年） 12 2021/9/1
