·926· 智能系统学报 第16卷 TNS2 TGR1.1 TGR1.2 TGR1.3 TGR1.m TNS2 TGR2.1 TGR2.2 TGR2.3 TGR2.m TGR TGR TGR 2.ml 2.m2 TNS3.1 TNS3.2 TNS3.3 TGR3.1 TGR3.2 TGR3.m TNS4.I TNS4.2 TNS4.3 TNS4.4 TNS4.5 TNS4.6 TNS4.7 图7PRF决策树模型训练过程的任务DAG模型 Fig.7 Task DAG model of PRF decision tree model training process 使用扩展的RDD编程模型所创建的MGS-执行，会造成计算节点上各个GPU之间的工作负 park应用程序在Client节点上被提交。Master为 载不均衡。为了能平衡计算节点上各个GPU之 应用程序分配所需的集群资源，主要包括内存和 间的工作负载，本文提出了一个任务分解执行模 CPU资源。一个DAG graph根据RDDs之间的依 型。该模型主要包括两个部分：自动数据切片机 赖关系被创建。DAG-Schedule将DAG图划分为 制和自动任务分解机制。 多个有先后顺序的stage。.每个stage划分为一系 5面向机器学习/图迭代算法的分布 列可以并发的Tasks通过Task-Scheduler。Task- 式并行优化 Scheduler根据集群每个节点资源状态调度Tasks 到workers的进程上执行。与源生Spark框架不 针对机器学习/图迭代算法过程中的分布式 同（在Spark中GPU不能被识别和使用，Tasks必 并行优化中的计算效率等问题434。提出了面向 须被调度到CPU),MGspark Tasks可以将计算与 机器学习算法的分布式并行优化模型、分布式环 将要处理的数据卸载到GPUs上去进行加速通过 境中的并行条件随机场模型、并行维特比算法 MGTaskScheduler组件。 基于冗余距离消除和极端点优化的数据聚类方 在此基础上，本文提出了基于CUDA流的异 法。解决了机器学习分布式优化的问题，突破了 构任务执行模型(MGMS),可以充分平衡GPUs工 大规模高效能数据并行处理系统的算力瓶颈。 作负载。并且将MGMS模型整合到最新版本的 5.1分布式环境中的并行条件随机场模型 Spark分布式计算框架中开发了MGSpark计算 条件随机场(conditional random fields)是一种 框架。 概率图模型s46。它是一种机器学习算法，需要 Task是Spark的最小调度和并发执行单元， 多次迭代。条件随机场在标记或分析序列数据方 每个Task需要顺序处理一个Partition的数据量。 面发挥了重要作用，并取得了显著的效果。条件随 但是由于各个Partition之间的数据量不一样，特 机场结合了最大熵模型和隐马尔可夫模型的特点， 别是执行完shuffle类的算子，partition之间的数 但隐马尔可夫模型不能直接看到其状态，不能应 据量差别更为明显。为了利用GPUs进行加速， 用复杂的特征。然而，根据这一思想，条件随机 将Tasks卸载到设备端形成GTasks。如果将 场模型可以很好地应用于依赖长距离和使用重叠 GTask作为一个最小执行单元分配设备资源：设 特征的特征。同时，条件随机场可以解决其他判 备内存资源和CUDA流资源，调度到GPUs上去 别模型中的标注偏差问题。为此，本文提出了一stage1 stage2 stage3 TNS2 TGR1.1 TGR2.1 TGR2.2 TGR2.3 TGR2.m TGR 2.21 TGR3.1 TGR3.2 TGR3.m TGR 2.22 TGR 2.23 TGR 2.31 TGR 2.32 TGR 2.33 TGR 2.m1 TGR 2.m2 TGR1.2 TGR1.3 TGR1.m TNS2 TNS3.1 TNS4.1 TNS4.2 TNS4.3 TNS4.4 TNS4.5 TNS4.6 TNS4.7 TNS3.2 TNS3.3 ··· ··· ··· 图 7 PRF 决策树模型训练过程的任务 DAG 模型 Fig. 7 Task DAG model of PRF decision tree model training process 使用扩展的 RDD 编程模型所创建的 MGS￾park 应用程序在 Client 节点上被提交。Master 为 应用程序分配所需的集群资源，主要包括内存和 CPU 资源。一个 DAG graph 根据 RDDs 之间的依 赖关系被创建。DAG-Schedule 将 DAG 图划分为 多个有先后顺序的 stage。每个 stage 划分为一系 列可以并发的 Tasks 通过 Task-Scheduler。Task￾Scheduler 根据集群每个节点资源状态调度 Tasks 到 workers 的进程上执行。与源生 Spark 框架不 同（在 Spark 中 GPU 不能被识别和使用，Tasks 必 须被调度到 CPU），MGspark Tasks 可以将计算与 将要处理的数据卸载到 GPUs 上去进行加速通过 MGTaskScheduler 组件。 在此基础上，本文提出了基于 CUDA 流的异 构任务执行模型 (MGMS)，可以充分平衡 GPUs 工 作负载。并且将 MGMS 模型整合到最新版本的 Spark 分布式计算框架中开发了 MGSpark 计算 框架。 Task 是 Spark 的最小调度和并发执行单元， 每个 Task 需要顺序处理一个 Partition 的数据量。 但是由于各个 Partition 之间的数据量不一样，特 别是执行完 shuffle 类的算子，partition 之间的数 据量差别更为明显。为了利用 GPUs 进行加速， 将 Tasks 卸载到设备端形成 GTasks。如果将 GTask 作为一个最小执行单元分配设备资源：设 备内存资源和 CUDA 流资源，调度到 GPUs 上去 执行，会造成计算节点上各个 GPU 之间的工作负 载不均衡。为了能平衡计算节点上各个 GPU 之 间的工作负载，本文提出了一个任务分解执行模 型。该模型主要包括两个部分：自动数据切片机 制和自动任务分解机制。 5 面向机器学习/图迭代算法的分布 式并行优化 针对机器学习/图迭代算法过程中的分布式 并行优化中的计算效率等问题[43-44]。提出了面向 机器学习算法的分布式并行优化模型、分布式环 境中的并行条件随机场模型、并行维特比算法、 基于冗余距离消除和极端点优化的数据聚类方 法。解决了机器学习分布式优化的问题，突破了 大规模高效能数据并行处理系统的算力瓶颈。 5.1 分布式环境中的并行条件随机场模型 条件随机场 (conditional random fields) 是一种 概率图模型[45-46]。它是一种机器学习算法，需要 多次迭代。条件随机场在标记或分析序列数据方 面发挥了重要作用，并取得了显著的效果。条件随 机场结合了最大熵模型和隐马尔可夫模型的特点， 但隐马尔可夫模型不能直接看到其状态，不能应 用复杂的特征。然而，根据这一思想，条件随机 场模型可以很好地应用于依赖长距离和使用重叠 特征的特征。同时，条件随机场可以解决其他判 别模型中的标注偏差问题。为此，本文提出了一 ·926· 智 能 系 统 学 报 第 16 卷