第7章多处理器及线程级并行 7.1引言 72集中式共享存储器体系结构 73分布式共享存储器体系结构 74存储同一性 75同步与通信 2021/2/9 计算机体系结构
第7章 多处理器及线程级并行 7.1 引言 7.2 集中式共享存储器体系结构 7.3 分布式共享存储器体系结构 7.4 存储同一性 7.5 同步与通信 2021/2/9 计算机体系结构 2
71、引言 单处理机的发展正在走向尽头? 并行计算机在未来将会发挥更大的作用 获得超过单处理器的性能,最直接的方法 就是把多个处理器连在一起; ·自1985年以来,体系结构的改进使性能迅 速提高,但通过复杂度和硅技术的提高而 得到的性能的提高正在减小 并行计算机应用软件已有稳定的发展。 2021/2/9 计算机体系结构
7.1、引言 • 单处理机的发展正在走向尽头？ • 并行计算机在未来将会发挥更大的作用 • 获得超过单处理器的性能，最直接的方法 就是把多个处理器连在一起； • 自1985年以来，体系结构的改进使性能迅 速提高，但通过复杂度和硅技术的提高而 得到的性能的提高正在减小； • 并行计算机应用软件已有稳定的发展。 2021/2/9 计算机体系结构 3
并行计算机体系结构的分类 1、按照Fynn分类法,可把计算机分成 单指令流单数据流(SISD) 单指令流多数据流(SMD) 多指令流单数据流(MSD) 多指令流多数据流(MMD) 2、MMD己成为通用多处理机体系结构的 选择,原因 MIMD具有灵活性。 MMD可以充分利用商品化微处理器在性能价格 比方面的优势 2021/2/9 计算机体系结构
并行计算机体系结构的分类 1、按照Flynn分类法，可把计算机分成 – 单指令流单数据流（SISD） – 单指令流多数据流（SIMD） – 多指令流单数据流（MISD） – 多指令流多数据流（MIMD） 2、MIMD已成为通用多处理机体系结构的 选择，原因： – MIMD具有灵活性。 – MIMD可以充分利用商品化微处理器在性能价格 比方面的优势。 2021/2/9 计算机体系结构 4
通信模型和存储器的结构模型 1.两种地址空间的组织方案 (1)共享存储(多处理机): 物理上分离的多个存储器可作为一个逻辑上 共享的存储空间进行编址 (2)非共享存储(多计算机) 整个地址空间由多个独立的地址空间构成 它们在逻辑上也是独立的,远程的处理器不能 对其直接寻址。 每一个处理器-存储器模块实际上是一个单 独的计算机,这种机器也称为多计算机。 2021/2/9 计算机体系结构
通信模型和存储器的结构模型 1. 两种地址空间的组织方案 (1)共享存储（多处理机）： 物理上分离的多个存储器可作为一个逻辑上 共享的存储空间进行编址 (2)非共享存储（多计算机）： 整个地址空间由多个独立的地址空间构成， 它们在逻辑上也是独立的，远程的处理器不能 对其直接寻址。 每一个处理器-存储器模块实际上是一个单 独的计算机，这种机器也称为多计算机。 2021/2/9 计算机体系结构 5
两种通信模型 2.两种通信模型 (1)共享地址空间的机器 利用Load/ Store指令的地址隐含地进行数据通讯 (2)多个地址空间的机器 通过处理器间显式地传递消息完成 这种机器常称为消息传递机器 2021/2/9 计算机体系结构 6
两种通信模型 2. 两种通信模型 (1) 共享地址空间的机器 利用Load/Store指令的地址隐含地进行数据通讯 (2)多个地址空间的机器 通过处理器间显式地传递消息完成 这种机器常称为消息传递机器。 2021/2/9 计算机体系结构 6
不同通信机制的优点 1、共享存储器通信的主要优点 当处理器通信方式复杂或程序执行动态变化时易于 编程,同时在简化编译器设计方面也占有优势。 当通信数据较小时,通信开销较低,带宽利用较好。 通过硬件控制的 Cache減少了远程通信的频度,减 了通信延迟以及对共享数据的访问冲突。 2、消息传递通信机制的主要优点 硬件较简单。 通信是显式的,从而引起编程者和编译程序的注意 着重处理开销大的通信。 2021/2/9 计算机体系结构
不同通信机制的优点 1、共享存储器通信的主要优点 – 当处理器通信方式复杂或程序执行动态变化时易于 编程，同时在简化编译器设计方面也占有优势。 – 当通信数据较小时，通信开销较低，带宽利用较好。 – 通过硬件控制的Cache减少了远程通信的频度，减 少了通信延迟以及对共享数据的访问冲突。 2、消息传递通信机制的主要优点 – 硬件较简单。 – 通信是显式的，从而引起编程者和编译程序的注意， 着重处理开销大的通信。 2021/2/9 计算机体系结构 7
基于共享存储的MIMD机器分类 根据多处理机系统中存储器组织以及处理器个数的 多少,可分为两类 集中式共享存储器结构(SMP):这类机器有时 被称为 UMA(uniform memory access)机器 分布式共享存储器结构(DSM): 这类机器的结构被称为分布式共享存储器(DSM或可 缩放共享存储器体系结构,DSM机器被称为 NUMA( non-uniform memory access)机器 每个结点包含:处理器、存储器、VO 在许多情况下,分布式存储器结构优于采用集中式 共享存储器结构。 分布式存储器结构需要高带宽的互连 2021/2/9 计算机体系结构 8
基于共享存储的MIMD机器分类 根据多处理机系统中存储器组织以及处理器个数的 多少，可分为两类 • 集中式共享存储器结构（SMP）: 这类机器有时 被称为UMA(uniform memory access)机器 • 分布式共享存储器结构（DSM）: – 这类机器的结构被称为分布式共享存储器(DSM)或可 缩放共享存储器体系结构，DSM机器被称为 NUMA(non-uniform memory access)机器 – 每个结点包含：处理器、存储器、I/O – 在许多情况下，分布式存储器结构优于采用集中式 共享存储器结构。 – 分布式存储器结构需要高带宽的互连 2021/2/9 计算机体系结构 8
集中式共享存储结构 Processor Processor Processor Processor One or One or One or One or more levels more levels more levels more levels Private of cache of cache of cache of cache caches Shared cache Main memory yO system 集中式共享存储器结构(SMP) 2021/2/9 计算机体系结构
集中式共享存储结构 2021/2/9 计算机体系结构 9 集中式共享存储器结构（SMP）
分布式共享存储器结构(DSM) Multicore Multicore Multicore Multicore MP MP MP MP Memory 1o Memory vO Memory 1O Memory Interconnection network Memory 1/0 Memory Memory vO Memory Multicore Multicore Multicore Multicore MP MP MP MP 分布式共享存储器结构(DSM) 2021/2/9 计算机体系结构
分布式共享存储器结构（DSM） 2021/2/9 计算机体系结构 10 分布式共享存储器结构（DSM）
并行处理面临的挑战 并行处理面临着两个重要的挑战和一个重 要问题: 程序中有限的并行性 相对较高的通信开销 个重要问题:存储器访问的序问题 挑战之一:有限的并行性使机器要达到好 的加速比十分困难 例71如果想用100个处理器达到80的加 速比,求原计算程序中串行部分所占比例。 2021/2/9 计算机体系结构
并行处理面临的挑战 • 并行处理面临着两个重要的挑战和一个重 要问题： – 程序中有限的并行性 – 相对较高的通信开销 – 一个重要问题：存储器访问的序问题 • 挑战之一：有限的并行性使机器要达到好 的加速比十分困难 例7.1 如果想用100个处理器达到80的加 速比，求原计算程序中串行部分所占比例。 2021/2/9 计算机体系结构 11