研究生课程教学大纲 课程代码《任务载荷数据融合理论与应用》教学大纲 课程 课程中 1008117001 任务载荷数据融合理论及应用 学时 40 编号 文名称 口学位课 课程 课程英 √非学位课 Task Payloads Data Fusion Theory and 学分 2 性质 口其他 文名称 Application 开课 √春 适用学科 航空宇航科学与技术、控制科学 适用 √硕士 时间口秋 (类别) 与工程 学生 口博士 先修课程 矩阵理论 开课单位 航空航天学院 大纲撰写人 孙彬 大纲审稿人 李波 制（修）定时间 2021.6 一、教学目标 本课程为航空字航科学与技术及其相关学科的专业选修课程。任务载荷数据融合根据需 要综合处理多源通道的信息，有效地提高信息利用率及系统自动化程度。尤其在航天航空多 种运载平台上，对各种传感器所获得的大量数据进行融合，以获得比单一数据源更为准确 和可靠的决策。 课程落实“立德树人”的根本任务，将思政元素贯穿课程内容和教学环节：面向“以学 生为中心”，基于实际项目任务，采用“线上自学、集中面授、研讨交流”的方式。通过系 统学习数据融合领域的理论及前沿应用，使学生了解无人机任务载荷的类型、性能，掌握不 同传感器数据融合的方法论，理解其中蕴含的辩证唯物主义分析方法。通过课程的学习，希 望具备数据融合及相关交叉学科的研发和应用的能力，有效激发学生学习兴趣和潜能，增强 创新精神、实践能力和社会责任感。 二、教学内容与要求 总课时40学时，其中理论课时27学时，实践课时9学时，课程研讨4学时。其中13 章为共性基础理论，讲授和研讨数据融合的基本概念和原理、数据增强和配准预处理：49 章为由浅入深递进式讲解不同的融合算法、典型应用及评价方法。 课程将思政元素及专题研讨贯穿其中。★标记为课程思政元素，●标记为研讨主题，实 际实施过程中根据学生的掌握程度进行适度的动态调整
研究生课程教学大纲 1 课程代码《任务载荷数据融合理论与应用》教学大纲 课程 编号 1008117001 课程中 文名称 任务载荷数据融合理论及应用 学时 40 课程 性质 □学位课 √非学位课 □其他 课程英 文名称 Task Payloads Data Fusion Theory and Application 学分 2 开课 时间 √春 □秋 适用学科 (类别) 航空宇航科学与技术、控制科学 与工程 适用 学生 √硕士 □博士 先修课程 矩阵理论 开课单位 航空航天学院 大纲撰写人 孙彬 大纲审稿人 李波 制(修)定时间 2021.6 一、教学目标 本课程为航空宇航科学与技术及其相关学科的专业选修课程。任务载荷数据融合根据需 要综合处理多源通道的信息，有效地提高信息利用率及系统自动化程度。尤其在航天航空多 种运载平台上，对各种传感器所获得的大量数据进行融合，以获得比单一数据源更为准确 和可靠的决策。 课程落实“立德树人”的根本任务，将思政元素贯穿课程内容和教学环节；面向“以学 生为中心”，基于实际项目任务，采用“线上自学、集中面授、研讨交流”的方式。通过系 统学习数据融合领域的理论及前沿应用，使学生了解无人机任务载荷的类型、性能，掌握不 同传感器数据融合的方法论，理解其中蕴含的辩证唯物主义分析方法。通过课程的学习，希 望具备数据融合及相关交叉学科的研发和应用的能力，有效激发学生学习兴趣和潜能，增强 创新精神、实践能力和社会责任感。 二、教学内容与要求 总课时 40 学时，其中理论课时 27 学时，实践课时 9 学时，课程研讨 4 学时。其中 1-3 章为共性基础理论，讲授和研讨数据融合的基本概念和原理、数据增强和配准预处理；4-9 章为由浅入深递进式讲解不同的融合算法、典型应用及评价方法。 课程将思政元素及专题研讨贯穿其中。★标记为课程思政元素，●标记为研讨主题，实 际实施过程中根据学生的掌握程度进行适度的动态调整
研究生课程教学大纲 表1学时分配 参考学时 章 内容 (线上+面授+研讨) 1 绪论 0+2+1 2 任务载荷及数据分析 0+2+1 3 任务载荷数据预处理 1+1+1 4 基于成分分解的数据融合 1+1+1 基于金字塔变换的数据融合 1+1+1 6 基于小波变换的数据融合 1+1+1 基于多尺度几何变换的数据融合 1+1+1 基于稀疏表示的数据融合 0+2+1 9 基于深度学习的数据融合 3(线上直播) 10 数据融合应用实践 9(分组研讨实践) 11 课程设计交流汇报 4(项目汇报交流) 12 总学时 40 第一章：绪论(3学时) 1.1研究背景及意义(0.5学时) 1.2研究现状(0.5学时) 1.3分类(1学时) 1.4融合意义及学术研讨(1学时) 本章教学要求：通过本章课程的学习，要求学生熟练掌握数据融合的定义和概念，了解 国内外数据融合领域的前沿技术、发展方向：掌握数据融合不同分类方法：掌握数据层、 特征层、决策层融合的基本流程。 教学重点：(1)数据融合的分类方法，(2)不同层次数据融合的特点。 教学难点：(1)数据级融合原理，(2)特征级融合原理，(3)决策级融合原理。 ★利用线上平台发布研讨主题，结合授课内容讲解的“融合”概念和分类，鼓励学生重 温中国传统文化中的成语或寓言故事，深化对于“融合”内涵的理解。 ●研讨：按选课人数分组（一般以5人/组）查阅红外与可见光融合方面的高水平前沿
研究生课程教学大纲 2 表 1 学时分配 章 内 容 参考学时 （线上+面授+研讨） 1 绪论 0+2+1 2 任务载荷及数据分析 0+2+1 3 任务载荷数据预处理 1+1+1 4 基于成分分解的数据融合 1+1+1 5 基于金字塔变换的数据融合 1+1+1 6 基于小波变换的数据融合 1+1+1 7 基于多尺度几何变换的数据融合 1+1+1 8 基于稀疏表示的数据融合 0+2+1 9 基于深度学习的数据融合 3（线上直播） 10 数据融合应用实践 9（分组研讨实践） 11 课程设计交流汇报 4（项目汇报交流） 12 总学时 40 第一章：绪论（3 学时） 1.1 研究背景及意义（0.5 学时） 1.2 研究现状（0.5 学时） 1.3 分类（1 学时） 1.4 融合意义及学术研讨（1 学时） 本章教学要求：通过本章课程的学习，要求学生熟练掌握数据融合的定义和概念，了解 国内外数据融合领域的前沿技术、发展方向；掌握数据融合不同分类方法；掌握数据层、 特征层、决策层融合的基本流程。 教学重点: （1）数据融合的分类方法，（2）不同层次数据融合的特点。 教学难点: （1）数据级融合原理，（2）特征级融合原理，（3）决策级融合原理。 ★利用线上平台发布研讨主题，结合授课内容讲解的“融合”概念和分类，鼓励学生重 温中国传统文化中的成语或寓言故事，深化对于“融合”内涵的理解。 ●研讨：按选课人数分组（一般以 5 人/组）查阅红外与可见光融合方面的高水平前沿
研究生课程教学大纲 文献一篇，阅读并整理中英文术语缩略表，分组利用思维导图完成对现状的分析。 该阶段重点考察学生调研和阅读文献，快速掌握项目需求及背景的能力。 第二章任务载荷及数据分析(3学时) 2.1飞行器平台及任务载荷(1学时) 2.2传感器探测原理(0.5学时) 2.3融合客观评价(0.5学时) 2.4任务载荷专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握不同载荷平台的范围、目的和用途：掌 握不同类型传感器的探测原理及特点：了解典型数据库的特点。 教学重点：(1)载荷平台的用途：(2)主动式探测原理：(3)被动式探测原理。 教学难点：(1)探测原理：(2)传感器分辨率。 ★讲解红外传感器探测原理时，利用信息化工具推送微视频，分享科学家赫谢尔通过严 谨的科学实验发现“不可见”红外线的过程。 ●研讨：针对红外和可见光融合的项目需求，按照分组方式，搜集归纳典型数据集，分 组汇总数据集的来源、数据特点以及应用场景，提交完整规范的数据集分析报告。 该阶段考核学生数据采集以及数据分析的能力。 第三章任务载荷数据预处理(3学时) 3.1基于点运算的数据增强(1学时) 3.2基于区域运算的数据增强(1学时) 3.3空间滤波专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握数据预处理的基本流程：掌握空域去噪 算法：掌握变换域去噪算法：掌握数据一致性概念：了解特征提取的概念和基本流程。 教学重点：(1)直方图概念及操作：(2)滤波的概念：(3)特征提取方法；(4)空间坐 标系变换原理：(5)数据配准的流程 教学难点：(1)滤波器的设计：(2)特征提取的原理：(3)匹配过程中优化算法。 ★分享电影“夺冠”中信号传输导致的图像噪声，回顾八十年代日常生活中经常碰到的 电视信号中的“噪声”，体悟科技创新和技术发展给生活带来的改变。通过视频中杂乱 无章、随机分布的噪声，引出噪声类型及图像增强去噪的方法讲解。 3
研究生课程教学大纲 3 文献一篇，阅读并整理中英文术语缩略表，分组利用思维导图完成对现状的分析。 该阶段重点考察学生调研和阅读文献，快速掌握项目需求及背景的能力。 第二章 任务载荷及数据分析（3 学时） 2.1 飞行器平台及任务载荷（1 学时） 2.2 传感器探测原理（0.5 学时） 2.3 融合客观评价（0.5 学时） 2.4 任务载荷专题研讨（1 学时） 教学要求：通过本章课程的学习，要求学生掌握不同载荷平台的范围、目的和用途；掌 握不同类型传感器的探测原理及特点；了解典型数据库的特点。 教学重点：（1）载荷平台的用途；（2）主动式探测原理；（3）被动式探测原理。 教学难点：（1）探测原理；（2）传感器分辨率。 ★讲解红外传感器探测原理时，利用信息化工具推送微视频，分享科学家赫谢尔通过严 谨的科学实验发现“不可见”红外线的过程。 ●研讨：针对红外和可见光融合的项目需求，按照分组方式，搜集归纳典型数据集，分 组汇总数据集的来源、数据特点以及应用场景，提交完整规范的数据集分析报告。 该阶段考核学生数据采集以及数据分析的能力。 第三章 任务载荷数据预处理（3 学时） 3.1 基于点运算的数据增强（1 学时） 3.2 基于区域运算的数据增强（1 学时） 3.3 空间滤波专题研讨（1 学时） 教学要求：通过本章课程的学习，要求学生掌握数据预处理的基本流程；掌握空域去噪 算法；掌握变换域去噪算法；掌握数据一致性概念；了解特征提取的概念和基本流程。 教学重点：（1）直方图概念及操作；（2）滤波的概念；（3）特征提取方法；（4）空间坐 标系变换原理；（5）数据配准的流程 教学难点：（1）滤波器的设计；（2）特征提取的原理；（3）匹配过程中优化算法。 ★分享电影“夺冠”中信号传输导致的图像噪声，回顾八十年代日常生活中经常碰到的 电视信号中的“噪声”，体悟科技创新和技术发展给生活带来的改变。通过视频中杂乱 无章、随机分布的噪声，引出噪声类型及图像增强去噪的方法讲解
研究生课程教学大纲 ●研讨：卷积属于典型的区域运算，结合人工智能前沿领域深度学习中的卷积操作，分 组方式讨论预处理中的卷积与深度学习中的卷积的联系和区别。 第四章基于成分分解的数据融合(3学时) 4.1全色图和多光谱数据融合(0.25学时) 4.1基于Brovey变换的遥感数据融合(0.25学时) 4.2基于HSI空间的遥感数据融合(0.5学时) 4.3基于PCA分解的遥感数据融合(1学时) 4.4基于PCA分解的数据融合专题研讨(1学时) 教学要求：通过本章课程的学习，掌握颜色归一化融合算法：要求学生掌握基于H$I颜 色空间的数据融合：掌握PCA的基本原理：掌握融合规则的分类方法和基本原理。 教学重点：(I)HSI数据融合的基本原理和流程：(2)Brovey算法的原理；(3)基于 PCA分解的融合原理：(4)掌握基于点、窗口、区域的融合规则。 教学难点：(1)PCA分解原理：(2)显著性的概念和设计原理：(3)匹配度的概念和设 计原理。 ★分享“高分七号卫星北京大兴国际机场多光谱融合”效果以及“高分卫星紧急驰援四 川凉山森林火灾”应用案例，引导学生自主学习并分享“高分系列”卫星的发展历程和 应用现状，展示我国在任务载荷方面的突出成就，鼓励同学们树立空天报国的理想和信 念。 ●研讨：按照分组方式，以PCA线性变换理解多波段融合时的维度概念，以及匹配度 的设计理念、协方差和相关矩阵在融合应用中的区别，分析不同算法的适用范围。 该阶段考核学生理解算法中核心思想、典型变换算法的理解能力。 第五章基于金字塔分解的数据融合(3学时) 5.1金字塔变化(1.5学时) 5.1.1高斯金字塔(0.5学时) 5.1.2拉普拉斯金字塔(0.5学时) 5.1.3比率金字塔(0.25学时) 5.1.4对比度金字塔(0.25学时) 5.2基于金字塔变换的融合规则(0.5学时)
研究生课程教学大纲 4 ●研讨：卷积属于典型的区域运算，结合人工智能前沿领域深度学习中的卷积操作，分 组方式讨论预处理中的卷积与深度学习中的卷积的联系和区别。 第四章 基于成分分解的数据融合（3 学时） 4.1 全色图和多光谱数据融合（0.25 学时） 4.1 基于 Brovey 变换的遥感数据融合（0.25 学时） 4.2 基于 HSI 空间的遥感数据融合（0.5 学时） 4.3 基于 PCA 分解的遥感数据融合（1 学时） 4.4 基于 PCA 分解的数据融合专题研讨（1 学时） 教学要求：通过本章课程的学习，掌握颜色归一化融合算法；要求学生掌握基于 HSI 颜 色空间的数据融合；掌握 PCA 的基本原理；掌握融合规则的分类方法和基本原理。 教学重点：（1）HSI 数据融合的基本原理和流程；（2）Brovey 算法的原理；（3）基于 PCA 分解的融合原理；（4）掌握基于点、窗口、区域的融合规则。 教学难点：（1）PCA 分解原理；（2）显著性的概念和设计原理；（3）匹配度的概念和设 计原理。 ★分享“高分七号卫星北京大兴国际机场多光谱融合”效果以及“高分卫星紧急驰援四 川凉山森林火灾”应用案例，引导学生自主学习并分享“高分系列”卫星的发展历程和 应用现状，展示我国在任务载荷方面的突出成就，鼓励同学们树立空天报国的理想和信 念。 ●研讨：按照分组方式，以 PCA 线性变换理解多波段融合时的维度概念，以及匹配度 的设计理念、协方差和相关矩阵在融合应用中的区别，分析不同算法的适用范围。 该阶段考核学生理解算法中核心思想、典型变换算法的理解能力。 第五章 基于金字塔分解的数据融合（3 学时） 5.1 金字塔变化（1.5 学时） 5.1.1 高斯金字塔（0.5 学时） 5.1.2 拉普拉斯金字塔（0.5 学时） 5.1.3 比率金字塔（0.25 学时） 5.1.4 对比度金字塔（0.25 学时） 5.2 基于金字塔变换的融合规则（0.5 学时）
研究生课程教学大纲 5.3二维高斯金字塔分解专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握高斯金字塔分解过程：掌握基于金字塔 分解的数据融合算法框架。 教学重点：(1)高斯金字塔变换：(2)拉普拉斯金字塔变换：(3)基于金字塔分解的融 合规则。 教学难点：(1)高斯金字塔核函数约束条件：(2)插值原理：(3)分解和重构过程：(4) 融合规则设计。 ★《题西林壁》是宋代文学家苏轼的诗作“横看成岭侧成峰，远近看山总不同。不识庐 山真面目，只缘身在此山中。”分享和讨论其中蕴含的哲学思想，以及与多视角图像融 合的关系，提升文化自信。 ●研讨：按照分组方式，研讨高斯金字塔分解过程，详解一维到二维滤波的实现原理。 第六章基于小波变换的数据融合(3学时) 6.1小波变换基础(0.5学时) 6.2小波变换系数特性(0.5学时) 6.3小波系数统计模型(0.5学时) 6.4基于小波变换统计模型的融合算法(0.5) 6.5二维小波分解及系数融合专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握多尺度融合的基本原理和框架；掌握小 波变换系数统计特性分析：掌握离散小波分解的低频、高频融合规则：掌握基于统计模 型的融合规则。 教学重点：(1)二维小波分解过程：(2)小波分解系数统计特性分析。 教学难点：(1)二维小波变换方向选择性：(2)基于小波系数统计特性的融合规则。 ★讲解小波变换时，引用毛泽东《矛盾论矛盾的特殊性》中“只见树木不见森林”，引 导学生学习并灵活运用矛盾分析方法分析小波变换融合算法中蕴含的全局与局部之间的关 系。 ●研讨：按照分组方式，利用思维导图整理小波变换的发展历程，利用思维导图整理小 波变换的发展历程，分析二维小波变换系数的统计特性。 5
研究生课程教学大纲 5 5.3 二维高斯金字塔分解专题研讨（1 学时） 教学要求: 通过本章课程的学习，要求学生掌握高斯金字塔分解过程；掌握基于金字塔 分解的数据融合算法框架。 教学重点: （1）高斯金字塔变换；（2）拉普拉斯金字塔变换；（3）基于金字塔分解的融 合规则。 教学难点: （1）高斯金字塔核函数约束条件；（2）插值原理；（3）分解和重构过程；（4） 融合规则设计。 ★《题西林壁》是宋代文学家苏轼的诗作“横看成岭侧成峰，远近看山总不同。不识庐 山真面目，只缘身在此山中。”分享和讨论其中蕴含的哲学思想，以及与多视角图像融 合的关系，提升文化自信。 ●研讨：按照分组方式，研讨高斯金字塔分解过程，详解一维到二维滤波的实现原理。 第六章 基于小波变换的数据融合（3 学时） 6.1 小波变换基础（0.5 学时） 6.2 小波变换系数特性（0.5 学时） 6.3 小波系数统计模型（0.5 学时） 6.4 基于小波变换统计模型的融合算法（0.5） 6.5 二维小波分解及系数融合专题研讨（1 学时） 教学要求：通过本章课程的学习，要求学生掌握多尺度融合的基本原理和框架；掌握小 波变换系数统计特性分析；掌握离散小波分解的低频、高频融合规则；掌握基于统计模 型的融合规则。 教学重点：（1）二维小波分解过程；（2）小波分解系数统计特性分析。 教学难点：（1）二维小波变换方向选择性；（2）基于小波系数统计特性的融合规则。 ★讲解小波变换时，引用毛泽东《矛盾论·矛盾的特殊性》中“只见树木不见森林”，引 导学生学习并灵活运用矛盾分析方法分析小波变换融合算法中蕴含的全局与局部之间的关 系。 ●研讨：按照分组方式，利用思维导图整理小波变换的发展历程，利用思维导图整理小 波变换的发展历程，分析二维小波变换系数的统计特性
研究生课程教学大纲 第七章基于多尺度几何变换的数据融合(3学时) 7.1轮廓波变换(1学时) 7.1.1LP变换 7.1.2方向滤波 7.1.3平移不变性 7.2非下采样轮廓波变换(0.5学时) 7.2.1非下采样LP变换 7.1.2非下采样方向滤波 7.3基于轮廓波/非下轮廓波的融合算法(0.5学时) 7.4轮廓波分解及融合重构专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握轮廓波变换的基本流程；方向滤波器的 构造：基于轮廓波分解的低频融合规则。 教学重点：(1)方向滤波器构造原理：(2)移变性分析：(3)非下采样滤波器设计原理： (4)基于方向分解的融合流程。 教学难点：(1)轮廓波冗余性分析：(2)方向滤波器构造原理：(3)非下采样轮廓波分 解原理。 ★轮廓波变换中的系数，包括父辈系数（不同尺度）、近邻系数（相同尺度相同方向子 带，空间位置相邻)、兄弟系数（相同尺度不同方向）之间的关系，分析上述三种关系 的相关性可以作为定义显著性度量的依据。结论显示近邻系数的相关性最高。 分享对这一结论的理解时引入习近平总书记在博鳌亚洲论坛的主旨演讲中强调：中国秉 承“远亲不如近邻“的理念，始终坚持与邻为善、以邻为伴的，倡导友善的社会主义核心 价值观，共同营造和谐的氛围。 ●研讨：按照分组方式，利用思维导图整理多尺度几何变换的发展历程，重点讨论两类 三大采样矩阵构造方向滤波器组的原理，并通过分析分解的冗余性，讨论非下采样的平移不 变性。 第八章基于稀疏表示的数据融合(3学时) 8.1稀疏表示(1学时) 8.1.1稀疏编码 8.12字典学习 6
研究生课程教学大纲 6 第七章 基于多尺度几何变换的数据融合（3 学时） 7.1 轮廓波变换（1 学时） 7.1.1 LP 变换 7.1.2 方向滤波 7.1.3 平移不变性 7.2 非下采样轮廓波变换（0.5 学时） 7.2.1 非下采样 LP 变换 7.1.2 非下采样方向滤波 7.3 基于轮廓波/非下轮廓波的融合算法（0.5 学时） 7.4 轮廓波分解及融合重构专题研讨（1 学时） 教学要求：通过本章课程的学习，要求学生掌握轮廓波变换的基本流程；方向滤波器的 构造；基于轮廓波分解的低频融合规则。 教学重点：（1）方向滤波器构造原理；（2）移变性分析；（3）非下采样滤波器设计原理； （4）基于方向分解的融合流程。 教学难点：（1）轮廓波冗余性分析；（2）方向滤波器构造原理；（3）非下采样轮廓波分 解原理。 ★轮廓波变换中的系数，包括父辈系数（不同尺度）、近邻系数（相同尺度相同方向子 带，空间位置相邻）、兄弟系数（相同尺度不同方向）之间的关系，分析上述三种关系 的相关性可以作为定义显著性度量的依据。结论显示近邻系数的相关性最高。 分享对这一结论的理解时引入习近平总书记在博鳌亚洲论坛的主旨演讲中强调：中国秉 承“远亲不如近邻”的理念，始终坚持与邻为善、以邻为伴的，倡导友善的社会主义核心 价值观，共同营造和谐的氛围。 ●研讨：按照分组方式，利用思维导图整理多尺度几何变换的发展历程，重点讨论两类 三大采样矩阵构造方向滤波器组的原理，并通过分析分解的冗余性，讨论非下采样的平移不 变性。 第八章 基于稀疏表示的数据融合（3 学时） 8.1 稀疏表示（1 学时） 8.1.1 稀疏编码 8.1.2 字典学习
研究生课程教学大纲 8.2基于不同字典的数据融合算法(0.5学时) 8.3稀疏编码及字典训练专题研讨(1学时) 教学要求：通过本章课程的学习，要求学生掌握稀疏表示的基本原理，掌握字典训练的 算法，了解字典的分类，掌握基于稀疏表示的融合框架，掌握基于稀疏系数的融合规则 设计。 教学重点：(1)稀疏编码的原理及算法：(2)字典学习的原理及算法：(3)基于稀疏表 示的融合流程：(4)基于稀疏系数的融合规则。 教学难点：(1)MP与OMP算法原理：(2)K-SVD字典训练算法：(3)基于组结构的 融合规则设计。 ★分享“仓颉造字”的典故，启发同学们结合汉字发明的过程理解“字典”的含义，以 及利用冗余字典对信息进行“稀疏”表示的意义。 ●研讨：按照分组方式，重点研讨MP和OMP的区别与联系，字典的原子更新策略以 及对应的融合准则。 第九章基于深度学习的数据融合(3学时) 9.1CNN卷积神经网络(2学时) 9.2基于通用架构DL的数据融合(1学时) 教学要求：通过本章课程的学习，要求学生掌握主流的深度学习方法，掌握通用的深度 学习融合框架，掌握决策图的概念，掌握一致性验证方法。 教学重点：(1)深度学习网络概念：(2)网络设计：(3)显著性和融合规则设计。 教学难点：(1)深度学习方法应用于融合的可行性：(2)深度学习源与融合结果之间的 映射关系。 ※线上教学：南洋理工大学蒋旭东老师以直播方式讲授CNN卷积神经网络基础及前沿 应用(3学时)。 上机实践环节以可见光和红外图像融合的项目任务为目标，要求分组（建议5人一组） 完成特定的融合算法，内容包括现状调研、数据调研和采集、算法解析/描述、实验效果客 观评价、结论、参考文献等9学时：研讨汇报，分组交流(4学时)。 7
研究生课程教学大纲 7 8.2 基于不同字典的数据融合算法（0.5 学时） 8.3 稀疏编码及字典训练专题研讨（1 学时） 教学要求: 通过本章课程的学习，要求学生掌握稀疏表示的基本原理，掌握字典训练的 算法，了解字典的分类，掌握基于稀疏表示的融合框架，掌握基于稀疏系数的融合规则 设计。 教学重点: （1）稀疏编码的原理及算法；（2）字典学习的原理及算法；（3）基于稀疏表 示的融合流程；（4）基于稀疏系数的融合规则。 教学难点: （1）MP 与 OMP 算法原理；（2）K-SVD 字典训练算法；（3）基于组结构的 融合规则设计。 ★分享“仓颉造字”的典故，启发同学们结合汉字发明的过程理解“字典”的含义，以 及利用冗余字典对信息进行“稀疏”表示的意义。 ●研讨：按照分组方式，重点研讨 MP 和 OMP 的区别与联系，字典的原子更新策略以 及对应的融合准则。 第九章 基于深度学习的数据融合（3 学时） 9.1 CNN 卷积神经网络（2 学时） 9.2 基于通用架构 DL 的数据融合（1 学时） 教学要求: 通过本章课程的学习，要求学生掌握主流的深度学习方法，掌握通用的深度 学习融合框架，掌握决策图的概念，掌握一致性验证方法。 教学重点: （1）深度学习网络概念；（2）网络设计；（3）显著性和融合规则设计。 教学难点: （1）深度学习方法应用于融合的可行性；（2）深度学习源与融合结果之间的 映射关系。 ※线上教学：南洋理工大学蒋旭东老师以直播方式讲授 CNN 卷积神经网络基础及前沿 应用（3 学时）。 上机实践环节以可见光和红外图像融合的项目任务为目标，要求分组（建议 5 人一组） 完成特定的融合算法，内容包括现状调研、数据调研和采集、算法解析/描述、实验效果客 观评价、结论、参考文献等 9 学时；研讨汇报，分组交流（4 学时）
研究生课程教学大纲 三、教学方式 课程采用混合式小班研讨教学方式，容量为30人，分组研讨项目任务，内容贯穿数据 融合理论、实验及应用各环节，考察学生调研归纳、问题定义、算法描述、实验设计、结果 分析，以及综合表达能力。 课内学时学生通过指定平台在教师的引导下完成进行自学：线下教师系统讲授章节内容 和重难点分析，学生课前按照教学大纲的要求，选择知识点(1-2个/章)作为专题，以p即t 方式分享交流对专题知识点的理解。作业以课程随堂形式，共计2次。 四、考核方式与成绩评定 课程考核方式为考查，完成课程规定的分组项目报告以及交流汇报，结合课堂研讨及自 学表现等综合评价。在课程考核环节，强调分组协作，鼓励原始创新，严谨引用，杜绝学术 不端。 成绩评定的考核比例为： (1)过程考核占40%，包括： 考勒：5%，课堂互动：20%，平时作业：15%。 (2)项目考核占60% 五、教材及主要参考书目 教材： [1]《多尺度图像融合理论与方法》，才溪编著，电子工业出版社，2014年 参考书目： [1]《无人机任务载荷》，段连飞，章炜，黄瑞祥编，西北工业大学出版社，2017年 [2]《稀疏与冗余表示-理论及其在信号与图像处理中的应用》，埃拉德著|曹铁勇等译， 国防工业出版社，2015年 [3]《动手学深度学习》，阿斯顿·张，李沐，[美]扎卡里·C.立顿，[德]亚历山大·J 斯莫拉编著，人民邮电出版社，2019年 8
研究生课程教学大纲 8 三、教学方式 课程采用混合式小班研讨教学方式，容量为 30 人，分组研讨项目任务，内容贯穿数据 融合理论、实验及应用各环节，考察学生调研归纳、问题定义、算法描述、实验设计、结果 分析，以及综合表达能力。 课内学时学生通过指定平台在教师的引导下完成进行自学；线下教师系统讲授章节内容 和重难点分析，学生课前按照教学大纲的要求，选择知识点（1-2 个/章）作为专题，以 ppt 方式分享交流对专题知识点的理解。作业以课程随堂形式，共计 2 次。 四、考核方式与成绩评定 课程考核方式为考查，完成课程规定的分组项目报告以及交流汇报，结合课堂研讨及自 学表现等综合评价。在课程考核环节，强调分组协作，鼓励原始创新，严谨引用，杜绝学术 不端。 成绩评定的考核比例为： （1）过程考核占 40%，包括： 考勤：5%，课堂互动：20%，平时作业：15%。 （2）项目考核占 60%。 五、教材及主要参考书目 教材： [1]《多尺度图像融合理论与方法》，才溪编著，电子工业出版社，2014 年 参考书目： [1]《无人机任务载荷》，段连飞，章炜，黄瑞祥编，西北工业大学出版社，2017 年 [2]《稀疏与冗余表示-理论及其在信号与图像处理中的应用》，埃拉德著|曹铁勇等译， 国防工业出版社，2015 年 [3]《动手学深度学习》，阿斯顿·张，李沐，[美] 扎卡里·C. 立顿，[德] 亚历山大·J. 斯莫拉编著，人民邮电出版社，2019 年