第7章多处理器及线程级并行 7.1引言 7.2集中式共享存储器体系结构 7.3分布式共享存储器体系结构 7.4存储同一性 7.5同步与通信 2021/2/7 计算机体系结构
第7章 多处理器及线程级并行 7.1 引言 7.2 集中式共享存储器体系结构 7.3 分布式共享存储器体系结构 7.4 存储同一性 7.5 同步与通信 2021/2/7 计算机体系结构 6
7.1、引言 单处理机的发展正在走向尽头? 并行计算机在未来将会发挥更大的作用。 ·获得超过单处理器的性能,最直接的方法就是把 多个处理器连在一起; ·自1985年以来,体系结构的改进使性能迅速提 高,但通过复杂度和硅技术的提高而得到的性能 的提高正在减小 并行计算机应用软件已有缓慢但稳定的发展。 2021/2/7 计算机体系结构
7.1、引言 • 单处理机的发展正在走向尽头？ • 并行计算机在未来将会发挥更大的作用。 • 获得超过单处理器的性能，最直接的方法就是把 多个处理器连在一起； • 自1985年以来，体系结构的改进使性能迅速提 高，但通过复杂度和硅技术的提高而得到的性能 的提高正在减小； • 并行计算机应用软件已有缓慢但稳定的发展。 2021/2/7 计算机体系结构 7
并行计算机体系结构的分类 1、按照Flyηn分类法,可把计算机分成 单指令流单数据流(SISD) 单指令流多数据流(SIMD 多指令流单数据流(MSD) 多指令流多数据流(MMD) 2、MIMD已成为通用多处理机体系结构的选择, 原因 MMD具有灵活性。 MIMD可以充分利用商品化微处理器在性能价格比方 面的优势。 2021/2/7 计算机体系结构 8
并行计算机体系结构的分类 1、按照Flynn分类法，可把计算机分成 − 单指令流单数据流（SISD） − 单指令流多数据流（SIMD） − 多指令流单数据流（MISD） − 多指令流多数据流（MIMD） 2、MIMD已成为通用多处理机体系结构的选择， 原因： − MIMD具有灵活性。 −MIMD可以充分利用商品化微处理器在性能价格比方 面的优势。 2021/2/7 计算机体系结构 8
通信模型和存储器的结构模型 1.两种地址空间的组织方案 (1)共亨存储(多处理机) 物理上分离的多个存储器可作为一个逻辑上 享的存储空间进行编址 (2)非共享存储(多计算机) 整个地址空间由多个独立的地址空间构成, 它们在逻辑上也是独立的,远程的处理器不能对 其直接寻址。 每一个处理器-存储器模块实际上是一个单独 的计算机,这种机器也称为多计算机。 2021/2/7 计算机体系结构
通信模型和存储器的结构模型 1. 两种地址空间的组织方案 (1)共享存储（多处理机）： 物理上分离的多个存储器可作为一个逻辑上 共享的存储空间进行编址 (2)非共享存储（多计算机）： 整个地址空间由多个独立的地址空间构成， 它们在逻辑上也是独立的，远程的处理器不能对 其直接寻址。 每一个处理器-存储器模块实际上是一个单独 的计算机，这种机器也称为多计算机。 2021/2/7 计算机体系结构 9
两种通信模型 2.两种通信模型 (1)共享地址空间的机器 -利用Load/ Store指令的地址隐含地进行数据通讯 (2)多个地址空间的机器 通过处理器间显式地传递消息完成 这种机器常称为消息传递机器。 2021/2/7 计算机体系结构 10
两种通信模型 2. 两种通信模型 (1) 共享地址空间的机器 −利用Load/Store指令的地址隐含地进行数据通讯 (2)多个地址空间的机器 −通过处理器间显式地传递消息完成 −这种机器常称为消息传递机器。 2021/2/7 计算机体系结构 10
不同通信机制的优点 1、共享存储器通信的主要优点 当处理器通信方式复杂或程序执行动态变化时易于编 程,同时在简化编译器设计方面也占有优势。 当通信数据较小时,通信开销较低,带宽利用较好。 通过硬件控制的 Cache减少了远程通信的频度,减少 了通信延迟以及对共享数据的访问冲突。 2、消息传递通信机制的主要优点 硬件较简单。 通信是显式的,从而引起编程者和编译程序的注意, 着重处理开销大的通信。 2021/2/7 计算机体系结构 11
不同通信机制的优点 1、共享存储器通信的主要优点 −当处理器通信方式复杂或程序执行动态变化时易于编 程，同时在简化编译器设计方面也占有优势。 −当通信数据较小时，通信开销较低，带宽利用较好。 −通过硬件控制的Cache减少了远程通信的频度，减少 了通信延迟以及对共享数据的访问冲突。 2、消息传递通信机制的主要优点 −硬件较简单。 −通信是显式的，从而引起编程者和编译程序的注意， 着重处理开销大的通信。 2021/2/7 计算机体系结构 11
基于共享存储的MMD机器分类 根据多处理机系统中存储器组织以及处理器个数 的多少,可分为两类 集中式共享存储器结构(SMP):这类机器有时 被称为 UMA(uniform memory access机器 分布式共享存储器结构(DSM): 这类机器的结构被称为分布式共享存储器(DSM)或可 缩放共享存储器体系结构,DSM机器被称为 NUMA(non-uniform memory access机器 每个结点包含:处理器、存储器、I/O 在许多情况下,分布式存储器结构优于采用集中式共 享存储器结构。 分布式存储器结构需要高带宽的互连 2021/2/7 计算机体系结构 12
基于共享存储的MIMD机器分类 根据多处理机系统中存储器组织以及处理器个数 的多少，可分为两类 • 集中式共享存储器结构（SMP）: 这类机器有时 被称为UMA(uniform memory access)机器 • 分布式共享存储器结构（DSM）: −这类机器的结构被称为分布式共享存储器(DSM)或可 缩放共享存储器体系结构，DSM机器被称为 NUMA(non-uniform memory access)机器 −每个结点包含：处理器、存储器、I/O −在许多情况下，分布式存储器结构优于采用集中式共 享存储器结构。 −分布式存储器结构需要高带宽的互连 2021/2/7 计算机体系结构 12
共享存储结构 处理器共享物理存储器,直接对其访问 ·I/O控制器直接访问物理存储器 ·操作系统可以运行在任意处理器上 -OS使用共享内存进行通信 通信过程由oad和 store操作来完成c recesso ·处理器的规模数 几个到几百个 Shared Physical 存储器可以分布式部署 Memory rocesso ·这种结构可以追溯到60年代初 2021/2/7 计算机体系结构 13
共享存储结构 • 处理器共享物理存储器, 直接对其访问 • I/O 控制器直接访问物理存储器 • 操作系统可以运行在任意处理器上 −OS 使用共享内存进行通信 • 通信过程由load和store操作来完成 • 处理器的规模数 −几个到几百个 −存储器可以分布式部署 • 这种结构可以追溯到60年代初 2021/2/7 计算机体系结构 Shared Physical Memory Processor Processor I/O I/O I/O Processor Processor Processor 13
典型共享存储并行处理机组织 Pn Switch Cache Interconnection network Main memory Dance Hall (UMA) Shared Cache Pn P1 Mem Mem Mem 1/Devices Interconnection network Bus-based Shared Memory Distributed Shared Memory(NUMA) 2021/2/7 计算机体系结构 14
典型共享存储并行处理机组织 2021/2/7 计算机体系结构 P1 $ Interconnection network $ Pn Mem Mem Dance Hall (UMA) P1 $ Interconnection network $ Pn Mem Mem Distributed Shared Memory (NUMA) P1 $ $ Pn Mem I/O devices Bus-based Shared Memory P1 Switch Main memory Pn Interleaved Interleaved Cache Shared Cache 14
ocessor Processor Processor Processor One or One or One or One or more levels more levels more levels more levels Private of cache of cache of cache of cache caches Shared cache Main memory vO system 2021/2/7 计算机体系结构
2021/2/7 计算机体系结构 15