Warps and SIMD performance impact of control divergence Parallel reduction Memory parallelism

Prefix Sum A Work-inefficient Scan Kernel A Work-Efficient Parallel Scan Kernel More on Parallel Scan

• To learn to regularize irregular data with – Limiting variations with clamping – Sorting – Transposition • To learn to write a high-performance SpMV kernel based on JDS transposed format • To learn the key techniques for compacting input data in parallel sparse methods for reduced consumption of memory bandwidth – Better utilization of on-chip memory – Fewer bytes transferred to on-chip memory – Better utilization of global memory – Challenge: retaining regularity

– To provide you with a framework for further studies on – Thinking about the problems of parallel programming – Discussing your work with others – Approaching complex parallel programming problems – Using or building useful tools and environments

《高质量C++编程指南》PDF电子资料（2001，v1.0，共十一章，林锐）

10.1 概述 10.2 集散控制系统 10.4 现场总线控制系统 10.3 可编程控制器 10.5 综合自动化系统

6.5 电子邮件 6.5.1 电子邮件概述 6.5.2 简单邮件传送协议 SMTP 6.5.3 电子邮件的信息格式 6.5.4 邮件读取协议 POP3 和 IMAP 6.5.5 基于万维网的电子邮件 6.5.6 通用因特网邮件扩充 MIME 6.6 动态主机配置协议 DHCP 6.7 简单网络管理协议 SNMP 6.7.1 网络管理的基本概念 6.7.2 管理信息结构 SMI 6.7.3 管理信息库 MIB 6.7.4 SNMP 的协议数据单元和报文 6.8 应用进程跨越网络的通信 6.8.1 系统调用和应用编程接口 6.8.2 几种常用的系统调用 6.9 P2P应用

* 1.1 并⾏计算 * 1.1.1 并⾏计算与计算科学 * 1.1.2 当代科学与⼯程问题的计算需求 * 1.2 并⾏计算机系统互连 * 1.2.1 系统互连 * 1.2.2 静态互联⽹络 * 1.2.3 动态互连⽹络 * 1.2.4 标准互联⽹络 * 1.3 并⾏计算机系统结构 * 1.3.1 并⾏计算机结构模型 * 1.3.2 并⾏计算机访存模型

 3.1 并行机的一些基本性能指标  3.2 加速比性能定律  3.2.1 Amdahl定律  3.2.2 Gustafson定律  3.2.3 Sun和Ni定律  3.3 可扩放性评测标准  3.3.1 并行计算的可扩放性  3.3.2 等效率度量标准  3.3.3 等速度度量标准  3.3.4 平均延迟度量标准

5.1 串行算法的直接并行化 5.2 从问题描述开始设计并行算法 5.3 借用已有算法求解新问题