电子科技大学：《嵌入式人工智能 Embedded Artificial Intelligence》课程教学资源（教学大纲，负责人：杨峰）.pdf_大学文库

研究生课程教学大纲 0608546008《嵌入式人工智能》教学大纲课程课程中编号 0608546008 嵌入式人工智能学时 40 文名称口学位课课程课程英口非学位课 Embedded Artificial Intelligence 2.0 性质 ☑其他文名称学分开课 ☑春适用学科控制科学与工程仪器科学与技术适用 ☑硕士时间口秋 (类别) 电子科学与技术信息与通信工程学生口博士先修课程微处理器系统结构、C/C+程序设计、机器学习开课单位自动化工程学院大纲撰写人杨峰大纲审稿人肖寅东制（修）定时间 2022.03 课程简介（中英文）《嵌入式人工智能》是针对自动化、电子电气、信息通信等专业的一门实践性课程。嵌入式人工智能不但具有嵌入式系统的行为能力，同时具有人工智能的思考能力，这两者的结合可以让无人机、自动驾驶汽车、机器人等智能硬件在不联网的情况下实时完成环境感知、人机交互、决策控制等功能。本课程在学习（线上）嵌入式系统相关处理器、中断服务机制、总线与接口、操作系统、软件开发平台等内容的基础上，对神经网络模型的压缩和加速、嵌入式AI程序的开发和优化，以及基于华为昇腾的CANN开发平台的相关知识进行研习。然后通过数个嵌入式AI案例的动手实践，完成对相关知识的运用和提升。 "Embedded Artificial Intelligence"is a practical course for majors in automation,electrical and electronic,information and communication.Embedded artificial intelligence not only has the behavioral ability of embedded systems,but also has the thinking ability of artificial intelligence. The combination of these two can enable the intelligent hardware such as UAV,autopilot,robot and so on to accomplish real-time environmental awareness,human-machine interaction,decision control and other functions without networking. On the basis of studying(online)the processor,interrupt service mechanism,bus and interface, operating system,software development platform and other contents related to embedded system, this course studies the compression and acceleration of neural network model,the development and optimization of embedded AI program,and the relevant knowledge of CANN development platform based on Huawei's Ascend.Then,through the hands-on practice of several embedded AI cases,the application and improvement of relevant knowledge are completed. 一、教学目标通过本课程教学，使学生了解嵌入式系统所涉及的基本概念，掌握嵌入式处理器、中断服务机制、嵌入式总线与接口、嵌入式操作系统、嵌入式软件开发平台、嵌入式Liux驱动开发等相关内容。同时结合神经网络模型在嵌入式系统上进行部署的要求，掌握神经网络模型的压缩和加速、嵌入式AI程序的开发和优化，华为昇腾CANN开发平台运用等相关知

研究生课程教学大纲 1 0608546008《嵌入式人工智能》教学大纲课程编号 0608546008 课程中文名称嵌入式人工智能学时 40 课程性质 □学位课 □非学位课 ☑其他课程英文名称 Embedded Artificial Intelligence 学分 2.0 开课时间 ☑春 □秋适用学科 (类别) 控制科学与工程仪器科学与技术电子科学与技术信息与通信工程适用学生 ☑硕士 □博士先修课程微处理器系统结构、C/C++程序设计、机器学习开课单位自动化工程学院大纲撰写人杨峰大纲审稿人肖寅东制(修)定时间 2022.03 课程简介（中英文）《嵌入式人工智能》是针对自动化、电子电气、信息通信等专业的一门实践性课程。嵌入式人工智能不但具有嵌入式系统的行为能力，同时具有人工智能的思考能力，这两者的结合可以让无人机、自动驾驶汽车、机器人等智能硬件在不联网的情况下实时完成环境感知、人机交互、决策控制等功能。本课程在学习（线上）嵌入式系统相关处理器、中断服务机制、总线与接口、操作系统、软件开发平台等内容的基础上，对神经网络模型的压缩和加速、嵌入式 AI 程序的开发和优化，以及基于华为昇腾的 CANN 开发平台的相关知识进行研习。然后通过数个嵌入式 AI 案例的动手实践，完成对相关知识的运用和提升。 "Embedded Artificial Intelligence" is a practical course for majors in automation, electrical and electronic, information and communication. Embedded artificial intelligence not only has the behavioral ability of embedded systems, but also has the thinking ability of artificial intelligence. The combination of these two can enable the intelligent hardware such as UAV, autopilot, robot and so on to accomplish real-time environmental awareness, human-machine interaction, decision control and other functions without networking. On the basis of studying (online) the processor, interrupt service mechanism, bus and interface, operating system, software development platform and other contents related to embedded system, this course studies the compression and acceleration of neural network model, the development and optimization of embedded AI program, and the relevant knowledge of CANN development platform based on Huawei’s Ascend. Then, through the hands-on practice of several embedded AI cases, the application and improvement of relevant knowledge are completed. 一、教学目标通过本课程教学，使学生了解嵌入式系统所涉及的基本概念，掌握嵌入式处理器、中断服务机制、嵌入式总线与接口、嵌入式操作系统、嵌入式软件开发平台、嵌入式 Linux 驱动开发等相关内容。同时结合神经网络模型在嵌入式系统上进行部署的要求，掌握神经网络模型的压缩和加速、嵌入式 AI 程序的开发和优化，华为昇腾 CANN 开发平台运用等相关知

研究生课程教学大纲识。并通过嵌入式A案例的工程实践，锻炼学生自主学习能力和解决实际工程问题的能力，提升创新意识。二、教学内容与要求本课程分为线上自学、课堂教学和实践教学三部分，共40学时，其中课堂教学20学时，实践教学20学时。 1、线上学习通过学堂在线学习《嵌入式系统设计》课程，主讲者电子科技大学杨峰，具体网址链接 http://www.xuetangx.com/courses/course-v1:UESTC+2017071301X+sp/about). 线上学习包括共五个章节的内容：嵌入式系统基础，嵌入式处理器，嵌入式操作系统，嵌入式软件开发平台，嵌入式Liux驱动开发。通过线上学习，要求学生理解ARM处理器内核系列、ARM体系架构、ARM处理器模式、ARM内部寄存器，掌握ARM体系的异常处理、ARM体系的存储系统。理解Linux操作系统内核结构，掌握RTLinux的中断模拟、实时调度和计时机制。理解GCC的编译流程，掌握GCC编译器选项、GDB调试器的使用方法。理解Liux设备模型和外设I/O端口访问，掌握字符设备、块设备和网络设备的驱动编写方法。 2、课堂教学课堂教学包括以下7个章节的内容：第1章嵌入式人工智能概述(3学时) 1本章教学内容： (1)嵌入式人工智能概念(1学时) (2)嵌入式人工智能实现手段(1学时) (3)嵌入式人工智能应用场景(0.5学时) (4)嵌入式人工智能发展趋势(0.5学时) 2本章教学要求：通过本章课程的学习，要求学生理解嵌入式人工智能的基本概念，掌握实现嵌入式人工智能的手段，了解嵌入式人工智能的应用场景和发展趋势。 3本章教学重点： (1)嵌入式人工智能的基本概念 4本章教学难点： (1)实现嵌入式人工智能的手段第2章机器学习基础(2学时) 1本章教学内容： (1)机器学习的相关概念(1学时) (2)机器学习的类型(1学时) 2本章教学要求：通过本章课程的学习，要求学生理解专家系统、机器学习、深度学习、神经网络各个概念的关系。掌握监督学习、非监督学习、强化学习的基本概念和实现方式。 3本章教学重点： (1)专家系统、机器学习、深度学习、神经网络的基本概念 2

研究生课程教学大纲 2 识。并通过嵌入式 AI 案例的工程实践，锻炼学生自主学习能力和解决实际工程问题的能力，提升创新意识。二、教学内容与要求本课程分为线上自学、课堂教学和实践教学三部分，共 40 学时，其中课堂教学 20 学时，实践教学 20 学时。 1、线上学习通过学堂在线学习《嵌入式系统设计》课程，主讲者电子科技大学杨峰，具体网址链接 http://www.xuetangx.com/courses/course-v1:UESTC+2017071301X+sp/about）。线上学习包括共五个章节的内容：嵌入式系统基础，嵌入式处理器，嵌入式操作系统，嵌入式软件开发平台，嵌入式 Linux 驱动开发。通过线上学习，要求学生理解 ARM 处理器内核系列、ARM 体系架构、ARM 处理器模式、ARM 内部寄存器，掌握 ARM 体系的异常处理、ARM 体系的存储系统。理解 Linux 操作系统内核结构，掌握 RTLinux 的中断模拟、实时调度和计时机制。理解 GCC 的编译流程，掌握 GCC 编译器选项、GDB 调试器的使用方法。理解 Linux 设备模型和外设 I/O 端口访问，掌握字符设备、块设备和网络设备的驱动编写方法。 2、课堂教学课堂教学包括以下 7 个章节的内容：第 1 章嵌入式人工智能概述(3 学时) 1 本章教学内容：（1）嵌入式人工智能概念（1 学时）（2）嵌入式人工智能实现手段（1 学时）（3）嵌入式人工智能应用场景（0.5 学时）（4）嵌入式人工智能发展趋势（0.5 学时） 2 本章教学要求：通过本章课程的学习，要求学生理解嵌入式人工智能的基本概念，掌握实现嵌入式人工智能的手段，了解嵌入式人工智能的应用场景和发展趋势。 3 本章教学重点：（1）嵌入式人工智能的基本概念 4 本章教学难点：（1）实现嵌入式人工智能的手段第 2 章机器学习基础(2 学时) 1 本章教学内容：（1）机器学习的相关概念（1 学时）（2）机器学习的类型（1 学时） 2 本章教学要求：通过本章课程的学习，要求学生理解专家系统、机器学习、深度学习、神经网络各个概念的关系。掌握监督学习、非监督学习、强化学习的基本概念和实现方式。 3 本章教学重点：（1）专家系统、机器学习、深度学习、神经网络的基本概念

研究生课程教学大纲 (3)内存编程优化实践3基于新工程开发嵌入式A虹应用(3学时) (1)创建以acl_resnet50样例为模板的工程，该样例基于Caffe ResNet-50网络（单输入、单Batch)实现图片分类： (2)将Caffe ResNet--50网络的模型文件转换为适配昇腾Al处理器的离线模型(*.om 文件)，加载该om文件，对2张*jPg图片进行同步推理，输出top5置信度的类别标识。实践4视频人脸识别(5学时) (1)通过人脸检测、关键点检测、特征向量提取三个模型的推理之后完成人脸特征提取： (2)将Application部署至Atlas2O0DK上实现人脸注册并对视频流中的人脸进行识别，与己注册的人脸进行比对，预测出最可能的用户： (3) 推理结果经过后处理解析后，调用Presenter Agent的接口向Presenter Server发送数据，Presenter Server接收到Presenter Agent发送的数据后，进行画框和ID 展示，用户通过浏览器访问Presenter Server查看人脸识别的结果。实践5基于CAN的无人车(5学时) (1)通过Atas200DK加载模型，从摄像头获取输入，实现图像推理等操作： (2)通过杜邦线把推理结果传递给电机驱动板，实现小车实时控制： (3) 通过加载A!模型实现无人车检测车道线、小车前方是否有跌落危险检测、小车前方物体检测等功能： (4)下载手机端遥控软件，操控验证小车车道线检测、防跌落、物体跟随等功能。三、教学方式课程采取“线上自学+课堂教学+案例实践”并行的教学方式。钱上自学嵌入式系统嵌入式处嵌入式操嵌入式软件嵌入式linux 基础理器作系统开发平台驱动开发课堂教学嵌入式AI 神经网络模型嵌入式编 CPU/内存/通嵌入式AI硬嵌入式AI软概述压缩与加速程概要信编程优化件开发平台件开发平台案例实践嵌入式AI 嵌入式C 嵌入式CPU 嵌入式内存昇腾310 应用开发与开发环境编程实践编程优化编程优化 TBE算子开发推理部署四、考核方式与成绩评定 1.课程考核方式：考查。 2.成绩评定：实践过程70%+应用项目设计报告30% 5

研究生课程教学大纲 5 （3）内存编程优化实践 3 基于新工程开发嵌入式 AI 应用(3 学时) （1）创建以 acl_resnet50 样例为模板的工程，该样例基于 Caffe ResNet-50 网络（单输入、单 Batch）实现图片分类；（2）将 Caffe ResNet-50 网络的模型文件转换为适配昇腾 AI 处理器的离线模型（*.om 文件），加载该 om 文件，对 2 张*.jpg 图片进行同步推理，输出 top5 置信度的类别标识。实践 4 视频人脸识别 (5 学时) （1）通过人脸检测、关键点检测、特征向量提取三个模型的推理之后完成人脸特征提取；（2）将 Application 部署至 Atlas 200 DK 上实现人脸注册并对视频流中的人脸进行识别，与已注册的人脸进行比对，预测出最可能的用户；（3）推理结果经过后处理解析后，调用 Presenter Agent 的接口向 Presenter Server 发送数据，Presenter Server 接收到 Presenter Agent 发送的数据后，进行画框和 ID 展示，用户通过浏览器访问 Presenter Server 查看人脸识别的结果。实践 5 基于 CANN 的无人车(5 学时) （1）通过 Atlas200 DK 加载模型，从摄像头获取输入，实现图像推理等操作；（2）通过杜邦线把推理结果传递给电机驱动板，实现小车实时控制；（3）通过加载 AI 模型实现无人车检测车道线、小车前方是否有跌落危险检测、小车前方物体检测等功能；（4）下载手机端遥控软件，操控验证小车车道线检测、防跌落、物体跟随等功能。三、教学方式课程采取“线上自学+课堂教学+案例实践”并行的教学方式。嵌入式系统基础嵌入式处理器嵌入式操作系统嵌入式软件开发平台嵌入式linux 驱动开发嵌入式AI 概述神经网络模型压缩与加速嵌入式编程概要嵌入式AI硬件开发平台嵌入式AI软件开发平台嵌入式AI 开发环境嵌入式C 编程实践嵌入式CPU 编程优化嵌入式内存编程优化线上自学课堂教学案例实践昇腾310 TBE算子开发应用开发与推理部署 CPU/内存/通信编程优化四、考核方式与成绩评定 1. 课程考核方式：考查。 2. 成绩评定：实践过程 70%+应用项目设计报告 30%