第2讲模型选择与评 估
第2讲 模型选择与评 估
大纲 ·2.1深度学习的硬件计算环境 ·2.2深度学习的软件计算环境 ·2.3数据集 ·2.3补充1：性能度量 ·2.3补充2：偏差与方差 ·2.4机器学习方法的分类 广东工业大学李东
⼤纲 • 2.1 深度学习的硬件计算环境 • 2.2 深度学习的软件计算环境 • 2.3 数据集 • 2.3 补充1：性能度量 • 2.3 补充2：偏差与⽅差 • 2.4 机器学习⽅法的分类 ⼴东⼯业⼤学 李东
深度学习的硬件计算环境 1.背景介绍： 1.深度学习作为人工智能的重要分支，对计算资源要求 极高。 2.硬件计算环境的选择直接影响深度学习模型的训练和 推理效率。 2.传统硬件： 1.传统CPU架构：适合一般计算任务，但在深度学习中 计算效率较低。 2.GPU加速：由于其并行计算能力，GPU成为了深度学 习训练的首选硬件。 广东工业大学李东
深度学习的硬件计算环境 1.背景介绍： 1.深度学习作为⼈⼯智能的重要分⽀，对计算资源要求 极⾼。 2.硬件计算环境的选择直接影响深度学习模型的训练和 推理效率。 2.传统硬件： 1.传统CPU架构：适合⼀般计算任务，但在深度学习中 计算效率较低。 2.GPU加速：由于其并⾏计算能⼒，GPU成为了深度学 习训练的⾸选硬件。 ⼴东⼯业⼤学 李东
深度学习的硬件计算环境 1.专用硬件： 1.TPys、(Tensor Processing.nits):,申Google开发，专为深度学习 而设计，在Google的云端服务中大规模应用。 2.ASICs(Application-Specific Integrated Circuits)ia.针对特定深度学 写崔务进特优化的是制悉片，如神经网络茄速器。 2.云端计算： 1命漆童婴奢握俸瘿如哈接餐用·屏眇股翠握塔 的成苯和门槛。 3.未来展望： 1.随着深度学习模型的不断发展和复杂化，对硬件计算能力的需求 将继续增加。 2新型硬件架构和算法的不断涌现将进一步推动深度学习在各领域 的应用和发展。 广东工业大学李东
深度学习的硬件计算环境 1.专⽤硬件： 1.TPUs（Tensor Processing Units）：由Google开发，专为深度学习 ⽽设计，在Google的云端服务中⼤规模应⽤。 2.ASICs（Application-Specific Integrated Circuits）：针对特定深度学 习任务进⾏优化的定制芯⽚，如神经⽹络加速器。 2.云端计算： 1.公共云服务提供商（如AWS、Azure、Google Cloud）提供了强⼤ 的深度学习硬件资源，可按需使⽤，降低了深度学习实验和应⽤ 的成本和⻔槛。 3.未来展望： 1.随着深度学习模型的不断发展和复杂化，对硬件计算能⼒的需求 将继续增加。 2.新型硬件架构和算法的不断涌现将进⼀步推动深度学习在各领域 的应⽤和发展。 ⼴东⼯业⼤学 李东
深度学习的底层软件库 1.NVIDIA的CUDA架构：提供了丰富的深度学习库 和工具，被广泛应用于深度学习框架中。 2.AMD ROCmTM (Compute Architecture for Neural Networks)是一套开放式软件工具，旨 在帮助开发人员在AMD的GPU上创建和部署AI 和HPC(高性能计算)应用程序。。 3.华为的CANN(Compute Architecture for Neural Networks)是一种异构计算架构，专门 针对A场景而设计
深度学习的底层软件库 1.NVIDIA的CUDA架构：提供了丰富的深度学习库 和⼯具，被⼴泛应⽤于深度学习框架中。 2.AMD ROCm™（Compute Architecture for Neural Networks）是⼀套开放式软件⼯具，旨 在帮助开发⼈员在AMD的GPU上创建和部署AI 和HPC（⾼性能计算）应⽤程序。 。 3.华为的CANN （Compute Architecture for Neural Networks）是⼀种异构计算架构，专⻔ 针对AI场景⽽设计
常用的深度学习框架 ·简易和快速的原型设计 ·自动梯度计算 [M]昇思 PaddlePaddle ·无终CDIGPU场 Microsoft CNTK TensorFlow Chainer K Keras Caffe2 theano PYTORCH
常⽤的深度学习框架 • 简易和快速的原型设计 • ⾃动梯度计算 • ⽆缝CPU和GPU切换
深度学习的常见框架 1.NVIDIA的CUDA架构：提供了丰富的深度学习库 和工具，被广泛应用于深度学习框架中。 2.AMD ROCmTM (Compute Architecture for Neural Networks)是一套开放式软件工具，旨 在帮助开发人员在AMD的GPU上创建和部署AI 和HPC(高性能计算)应用程序。。 3.华为的CANN(Compute Architecture for Neural Networks)是一种异构计算架构，专门 针对A场景而设计
深度学习的常⻅框架 1.NVIDIA的CUDA架构：提供了丰富的深度学习库 和⼯具，被⼴泛应⽤于深度学习框架中。 2.AMD ROCm™（Compute Architecture for Neural Networks）是⼀套开放式软件⼯具，旨 在帮助开发⼈员在AMD的GPU上创建和部署AI 和HPC（⾼性能计算）应⽤程序。 。 3.华为的CANN （Compute Architecture for Neural Networks）是⼀种异构计算架构，专⻔ 针对AI场景⽽设计
华为全栈全场景解决方案：构筑业界最强算力平台，极简易用、极致性能 行业应用 智慧城市、制造。能源、交通。金融、运宫商、教育等更多行业应用 ModelArts AHiAi Service 第三方平台 基碑红使作 应用使能 MindX昇腾应用使能 昇腾社区 MindX DL MindX ModelZo MindX 公深度学习使及Edge 能 0 SD 管理云维真 能边缘使能 优选横型库 行业sDK 全程开发真链 2019年8月 AI框架 [M]'昇思 hiascend.com 华为成为国新代人工喻 最佳匹异牌A处理器算力的全场景A框架 MindStudic FusionDrector/Smart 开的创新平台 CANN 款建弹中者 异构计算架构 统一异构十算架购，释放具轴硬件桂算力 但单角 端 系列硬件 Atlas
行业应用 应用使能 AI框架 异构计算架构 系列硬件 ModelArts HiAi Service 第三方平台 MindX 昇腾应用使能 MindX DL 深度学习使 能 MindX Edge 智能边缘使能 ModelZo o 优选模型库 MindX SDK 行业SDK 统一异构计算架构，释放昇腾硬件澎湃算力 全 流 程 开 发 工 具 链MindStudio 管 理 运 维 工 具FusionDirector/Smart 昇 腾 社 区hiascend.com 端 边 云 智慧城市、制造、能源、交通、金融、运营商、教育等更多行业应用 最佳匹配昇腾AI处理器算力的全场景AI框架 Atlas 2019年8月 华为成为国家新一代人工智能 开放创新平台 华为全栈全场景解决方案：构筑业界最强AI算力平台，极简易用、极致性能
CANN MindSpore MindX Atas系列硬件：创新提升硬件工程能力，算力持续领先 At格3理系列暖件 ✉669 智能转钢系统 医疗助诊击 智能变电站 高速自由流 轴电智能巡 转岗准确率可达1009 阅片效提升50信 时远程哲能巡视 通行效率提升5倍 湛检效率，提升80信 正 4200 Ai妇s训练系列福得件 单卡员力建司国执 320 TFLOPS FP16
Atlas 800 推理服务器 Atlas 300I 推理卡 智能转钢系统 转岗准确率可达100% 医疗辅助诊断 阅片效率提升50倍 Atlas 500 Pro 智能边缘服务器 Atlas 500 智能小站 智能变电站 实时远程智能巡视 高速自由流 通行效率提升5倍 Atlas 200 AI 加速模块 输电智能巡检 巡检效率，提升80倍 Atlas 推理系列硬件 Atlas 训练系列硬件 中⼼推理 边缘计算 端侧智能 Atlas 300T 训练卡 Atlas 800 训练服务器 Atlas 900 AI集群 Atlas 900 PoD 深度学习平台 一站式AI模型训练平台 人工智能计算中心 算力集群赋能产业集群 单卡算力业界领先 320 TFLOPS FP16 Atlas 300I Pro 推理卡 Atlas系列硬件：创新提升硬件工程能力，算力持续领先 Atlas CANN MindSpore MindX
Atlas CANN MindSpore MindX 异构计算架构CANN：开发体系开放易用，软硬协同释放极致性能 框果[M]思自PyTare由香TensorFlow,Ca地中每w 格放壶年海力 向上提供统一程接口及友好开发体系，支诗拥户快速构建基于野腾平白的1应用和业务 主流画场模空训练运3次排名州口】 争酒雪除型s速原特接升 1400 酸子 CANN CANND 二A内有3质 A贴c百dQL手计耳医开送接▣ 性子开定本 80% ResNet-50 BERT G中mgne身园国偏 偏程语言 使能高效开发 偏译及适试工具 2人周 偏程模型 康生CC+开液 业带通电的指范年 发自定 生态开故兼容 向下使能鼻处理器的并行加速能力，释放件适拜性能 主流架，接入主区供力支持：助力区共 6+ 90%+ 900+ 支持主流架 支5主克加 游筑优选使型 A品列号
框架 Graph Engine 昇腾图优化引擎 Graph Engine 昇腾图优化 引擎 AscendCL 昇腾计算语言开发接口 Runtime 运行管理器 DVPP 数字视觉预处理 CANN Lib 神经网络算子库 HCCL 华为集合通信库 编程语言 算子开发体系 向上提供统一编程接口及友好开发体系，支持用户快速构建基于昇腾平台的AI应用和业务 Driver 昇腾驱动层 编译及调试工具 编程模型 操作系统 Atlas 系列硬件 向下使能昇腾处理器的并行加速能力，释放硬件澎湃性能 … 释放澎湃算力 任务自动流水、算子深度融合等优化技术，持续保持性能领先 使能高效开发 升级编程语言，提供更为简单的计算和内存抽象、自动流水同步、更简便的调试手段， 降低开发者编码成本 生态开放兼容 兼容主流 AI框架，接入主流开源社区提供昇腾算力支持，助力社区共建 CANN 3.0 CANN 5.0 CANN 6.0 1.43分钟 6.25分钟 2.69分钟 BERT 主流语言模型训练速度持续提升 CANN 2.0 CANN 3.0 CANN 5.0 16秒 59.8秒 28秒 主流图像模型训练连续3次排名No.1 ResNet-50 1400+ 高性能算子 80% 主流算子支持 动态Shape 原生C/C++开发 业界通用的编程范式 2人周 开发自定义算子 6+ 支持主流框架 90%+ 支持主流算子 900+ 提供优选模型 异构计算架构CANN：开发体系开放易用，软硬协同释放极致性能 Atlas CANN MindSpore MindX