第5章分布式存储器及其 时延容忍 1层次存储器技术 2高缓一致性协议 23共享存储器的一致性 a24分布式高速缓存/主存体 系结构 5时延容忍技术 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 2 第5章 分布式存储器及其 时延容忍 ◼1 层次存储器技术 ◼ 2 高缓一致性协议 ◼ 3 共享存储器的一致性 ◼ 4 分布式高速缓存/主存体 系结构 ◼ 5 时延容忍技术
4分布式高缓主存体系结构 几种分布式存储结构 1.前言 口物理上分布的存储器可被逻辑共享、不共享 或部分共享 口共享存储器体系结构(多处理器)同时支持共 享存储器和消息传递编程模型 口SMP具有共享存储器体系结构,而传统的MP 不是 口还有许多分布式存储器结构介于两者之间 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 3 4 分布式高缓/主存体系结构 ◼一、几种分布式存储结构 ◼ 1.前言 ❑ 物理上分布的存储器可被逻辑共享、不共享 或部分共享 ❑ 共享存储器体系结构(多处理器)同时支持共 享存储器和消息传递编程模型 ❑ SMP具有共享存储器体系结构，而传统的MPP 不是 ❑ 还有许多分布式存储器结构介于两者之间
2共享存储器体系结构的定义 g某个系统称为具有共享存储器体系结构 (多处理器),如果该系统内任何处理器 上的进程都能直接访问整个系统内的任 何本地和远程存储器。 非共享存储器体系结构(多计算机)。 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 4 ◼ 2.共享存储器体系结构的定义 ❑ 某个系统称为具有共享存储器体系结构 (多处理器)，如果该系统内任何处理器 上的进程都能直接访问整个系统内的任 何本地和远程存储器。 ◼ 非共享存储器体系结构(多计算机)
PVP(Cray T90) SMP(Intel SHV SunFire. DEC 8400 集中式存储器 SGI PowerChallenge, IBM R60, UMA 多处理机 单一共享存储 COMA (KSR-1, DDM) 器地址空间 CC-NUMA (Stanford Dash, SGI Origin 2000, Sequent NUMA Q NUMA Data General, HP/Convex Exemplar) MID 分布式存储器 NCC-NUMA =1 ( Cray T3E,等) INORM 机群 (BM SP2, DEC TruCluster DSM i SC-NUMA 多计算机 Tandem himalaya, HP. Microsoft Wolfpack,等) TreadMarks 多个非共享存 (松耦合) Wind Tunnel 储器地址空间 IvY, Shrimp, MPP(Intel TFLOPS) 等) (紧耦合) 建立并行、分布式和机群计算机的不同类型的存储器体系结构 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 5
3. UMA NUMA. NORMA, COMA. CC NUMA NCC NUMA NORMA: No-remote memory accesses 构 CC-NUMA: cache-coherent NUMA NcC NUMA: non cache coherent NUMA 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 6 ◼ 3.UMA,NUMA,NORMA,COMA,CCNUMA，NCC—NUMA ◼ NORMA：No-remote memory access结 构 ◼ CC-NUMA：cache—coherent NUMA ◼ NCC—NUMA：non cache coherent NUMA
(1)数据访问方式的不同 设 LM:本地存储器, A和B:存储器地址 RC:远程高速缓存 E:寄存器 R:通用寄存器 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 7 ◼（1）数据访问方式的不同 ◼设 ◼ LM:本地存储器， ◼ A和B：存储器地址 ◼ RC：远程高速缓存 ◼ E：寄存器 ◼ R：通用寄存器
结点P 结点Q 从Q接收B NORMA LM B 发送A至P LM NCC-NUMA LM A容装M[4 E-registers LM A中内容装入 RI LM A CC-NUMA A RC COMA A A中内容装入 RICOMAJA Cache COMA 4种分布式存储器体系结构的比较 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 8
(2)NRMA机器: 口各结点的存储器有不同的地址空间,结 点不能直接访问远程存而必须通过消 息传递方式。 口结点P需要结点Q上变量A中的数据 口这可在结点Q上的发送例程和结点P上对 应的接收例程完成,最后,A的值被拷 贝P到结点P本地存储器中的变量B。 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 9 ◼ （2）NORMA机器： ❑ 各结点的存储器有不同的地址空间，结 点不能直接访问远程存 而必须通过消 息传递方式。 ❑ 结点P需要结点Q上变量A中的数据 ❑ 这可在结点Q上的发送例程和结点P上对 应的接收例程完成，最后，A的值被拷 贝P到结点P本地存储器中的变量B
其他3种体系结构都有特殊的硬件结构将 所有的本地存储器合并为单一的地址空 间,使所有的处理器都能访问任意的存 储器单元。 口它们都可以通过load指令获得远程数据A 口但是,它们的获取机制还是不同的。 典型的 NCC-NUMA机器是 Cray T3E。T3E中 的每个结点除了具有本地存储器外,还 有一组结点级的寄存器称为E一寄存器 (E-registers) 哈尔滨工业大学计算机科学与技术学院 10
哈尔滨工业大学计算机科学与技术学院 10 ◼ 其他3种体系结构都有特殊的硬件结构将 所有的本地存储器合并为单一的地址空 间，使所有的处理器都能访问任意的存 储器单元。 ❑ 它们都可以通过load指令获得远程数据A。 ❑ 但是，它们的获取机制还是不同的。 ◼ 典型的NCC-NUMA机器是Cray T3E。T3E中 的每个结点除了具有本地存储器外，还 有一组结点级的寄存器称为E—寄存器 （E-registers）
(3)00NUMA系统 关于 CC-NUMA机器的说明: 口 CC-NUMA机器是SM系统的扩展,它将几 个SMP结点连接起来构成一个更大的系统。 缓解了传统SM系统规模不可扩展的问题。 口大多数商用的 CC-NUMA多处理机系统采用 了基于目录的高速缓存一致性协议。C0 NUMA机器既保持了SMP结构的优点, 缓解了争用和带宽问题。 哈尔滨工业大学计算机科学与技术学院
哈尔滨工业大学计算机科学与技术学院 11 ◼ （3）CC-NUMA系统 ◼ 关于CC-NUMA机器的说明： ❑ CC-NUMA机器是SMP系统的扩展，它将几 个SMP结点连接起来构成一个更大的系统。 缓解了传统SMP系统规模不可扩展的问题。 ❑ 大多数商用的CC-NUMA多处理机系统采用 了基于目录的高速缓存一致性协议。CCNUMA机器既保持了SMP结构的优点， ❑ 缓解了争用和带宽问题