• 9.1 Spark概述 • 9.2 Spark生态系统 • 9.3 Spark运行架构 • 9.4 Spark SQL • 9.5 Spark的部署和应用方式 • 9.6 Spark编程实践

一、了解信息系统的发展过程及主要的信息系统； 二、掌握数据分析技术的发展过程及主要手段； 三、认识信息系统对组织结构与社会的影响； 四、掌握信息资源管理的概念及内容； 五、认识和理解信息道德概念及主要内容

• 7.1 概述 • 7.2 MapReduce体系结构 • 7.3 MapReduce工作流程 • 7.4 实例分析：WordCount • 7.5 MapReduce的具体应用 • 7.6 MapReduce编程实践

8.1 流计算概述 8.2 流计算处理流程 8.3 流计算应用 8.4 流计算开源框架 – Storm 8.5 Spark Streaming 8.6 Samza 8.7 Storm、Spark Streaming和Samza的应用场景 8.8 Storm编程实践

1.1 计算机网络的基本功能 1.2 计算机网络的组成 1.3 计算机网络的分类 1.4 计算机网络的拓扑结构 1.5 数据交换技术 1.6 计算机网络的性能指标 1.7 因特网概述 1.8 计算机网络体系结构

• 7.1 图计算简介 • 7.2 Pregel简介 • 7.3 Pregel图计算模型 • 7.4 Pregel的C++ API • 7.5 Pregel的体系结构 • 7.6 Pregel的应用实例 • 7.7 Pregel和MapReduce实现PageRank算法的对比 • 7.8 Hama的安装和使用

一、试验地的选择(见上一章) 二、试验地的区划和标记 主要注意在进行试验地区化时要根据试验地面积、小区 大小、非试验条件差异状况、重复区、保护行等合理规划。 小区标记一般采用用罗马数字标明重复区(区组),下 角标处理代号,例如I2,Ⅳ等

§1 数据库系统概述 §4 数据库系统的组成 §2 数据模型 §3 DBS的结构 §1 关系模型的基本概念 §2 RDBS的数据操纵语言：关系代数 §3 RDBS的数据操纵语言：关系演算语言 §1 SQL概述 §2 SQL数据定义功能 §3 SQL数据操纵功能 §4 视图 §5 SQL数据控制功能 §6 嵌入式SQL §1 关系系统 §2 关系系统的查询优化 §1 数据库设计概述 §2 需求分析 §3 概念结构设计 §4 逻辑结构设计 §5 物理结构设计 §6 数据库的实施和维护 §1 事务的基本概念 §2 故障的种类 §3 恢复的实现技术 §4 恢复策略 §1 并发控制概述 §2 封锁（Locking） §3 封锁协议 §5 并发调度的可串行性 §6 两段锁协议 §7 封锁的粒度 §1 数据库安全性控制 §2 统计数据库安全性 §1 完整性约束条件 §2 完整性控制 §3 SQL的完整性实现

7.1 数据处理与分析的概念 7.1.1 数据分析与数据挖掘 7.1.2数据分析与数据处理 7.1.3大数据处理与分析 7.2机器学习和数据挖掘算法 7.2.1概述 7.2.2 分类 7.2.3聚类 7.2.4 回归分析 7.2.5关联规则 7.2.6协同过滤 7.3 大数据处理与分析技术 7.3.1技术分类 7.3.2 流计算 7.3.3 图计算 7.4大数据处理与分析代表性产品 7.4.1 分布式计算框架MapReduce 7.4.2 数据仓库Hive 7.4.3数据仓库Impala 7.4.4 基于内存的分布式计算框架Spark 7.4.5 TensorFlowOnSpark 7.4.6 流计算框架Storm 7.4.7 流计算框架Flink 7.4.8大数据编程框架Beam 7.4.9查询分析系统Dremel

随着物联网技术的发展，前端传感器的使用使得低合金钢的海水腐蚀监测成为了现实，从而获得了大量的腐蚀数据。针对传统均值法处理双率腐蚀数据带来的数据信息损失以及建模精度下降问题，提出了一种基于综合指标值(CIV)和改进相关向量回归(IRVR)的双率腐蚀数据处理和建模算法(CIV-IRVR)。首先，通过构建CIV表征输入数据的综合影响并采用天牛须搜索(BAS)算法对其参数进行寻优；然后，建立最优CIV序列与输出数据间的线性回归模型将双率数据转化为建模用的单率数据，能够更多地保留原始数据信息；最后，给出了一种BAS算法优化的具有组合核函数的改进相关向量回归建模方法(IRVR)，并建立了针对低合金钢海水腐蚀双率数据的CIV-IRVR预测模型。结果表明：相比于均值方法处理双率腐蚀数据，所提方法将建模样本数量由196提升到了1834；相比于海水腐蚀建模领域常用的人工神经网络(ANN)和支持向量回归(SVR)建模方法，所提模型的平均绝对误差(MAE)、均方根误差(RMSE)和决定系数(CD)分别为1.1914 mV、1.5729 mV以及0.9963，在各项指标上均优于对比算法，说明所提模型不仅减少了信息损失还提高了建模精度，对于双率海水腐蚀数据建模具有一定现实意义