 大数据处理的基本流程  大数据处理模型  大数据关键技术  大数据处理工具  大数据时代面临的新挑战 WordCount 关联规则基本模型 聚类 本章内容首先介绍了大数据处理的基本流程和大数据处理模型，接着介绍了大数据的关键技术，其中，云计算是大数据的基础平台和支撑技术，本章以Google 的相关技术为主线，详细介绍Google 以及其他众多学者和研究机构在大数据技术方面已有的一些工作，包括文件系统、数据库系统、索引和查询技术、数据分析技术等；接下来，介绍了大数据处理平台和工具，就目前技术发展现状而言，Hadoop 已经成为了大数据处理工具事实上的标准。最后，介绍大数据时代面临的新挑战，包括大数据集成、大数据分析、大数据隐私问题、大数据能耗问题、大数据处理与硬件的协同、大数据管理易用性问题以及性能测试基准。 大数据采集架构 预测模型

*9.1 网络安全问题概述 9.1.1 计算机网络面临的安全性威胁 9.1.2 计算机网络安全的内容 9.1.3 一般的数据加密模型 *9.2 常规密钥密码体制 9.2.1 替代密码与置换密码 9.2.2 数据加密标准 DES *9.3 公开密钥密码体制 9.3.1 公开密钥密码体制的特点 9.3.2 RSA 公开密钥密码体制 9.3.3 数字签名 *9.4 报文鉴别 *9.5 密钥分配 9.6 电子邮件的加密 9.6.1 PGP 9.6.2 PEM 9.7 链路加密与端到端加密 9.7.1 链路加密 9.7.2 端到端加密 9.8 因特网商务中的加密 9.8.1 安全插口层 SSL 9.8.2 安全电子交易 SET 9.9 因特网的网络层安全协议族 IPsec *9.10 防火墙

针对机器或设备的剩余寿命（Remaining useful life, RUL）预测精度低的问题，提出基于一维卷积神经网络（Convolutional neural network, CNN）和双向长短期记忆（Bidirectional long short-term memory, BD-LSTM）的集成神经网络模型。为了更好地抽取时间序列上的特征，以及产生更多的训练样本，采用滑动窗口对数据进行处理，同时采用卡尔曼滤波对数据进行降噪处理，将数据标准化以及设置RUL标签。与人工提取特征不同，利用一维CNN对数据进行特征提取，并舍弃了CNN中的池化层。然后将提取到的高维特征输入到BD-LSTM进行回归预测，并采用Bagging的方式对此神经网络进行集成来预测RUL。最后通过在NASA的数据集上验证该模型的有效性，以及相比于其他机器学习或者深度学习模型的优越性，实验表明所提模型在RUL预测方面更加准确

从安钢电极控制的实际应用出发,应用数据挖掘技术建立了电极预测模型并应用于电极控制系统的参数整定.首先介绍了建立电极预测模型的数据挖掘过程;然后在数据挖掘算法中提出了一种新的变结构遗传Elman网络方法,该算法用改进的混合遗传算法对网络结构和权值及自反馈增益同步动态寻优.将基于BP算法的Elman网络和本文提出的变结构遗传Elman网络都应用于安钢交流电弧炉的电极预测模型中进行比较.通过基于安钢现场数据的计算机仿真实验表明:采用变结构遗传Elman网络的数据挖掘算法比BP算法具有更好的动态性能、更快的逼近速度和更高的精度.在此基础上,把建立的模型应用于安钢电极控制系统的参数整定,取得了良好的控制效果

通过对316L不锈钢的不同变形量的压缩试验,对其冷变形特性进行了研究.利用修正的Ludwik模型对流变应力数据进行非线性拟合,获得了316L不锈钢的真应力应变模型和加工硬化模型.试验结果表明:修正的Luiwik模型能较好的反映316L不锈钢真应力与应变关系;根据流变应力的变化规律,316L不锈钢冷变形流变应力可分为三个阶段,分别为真应变小于0.02的强加工硬化阶段,真应变在0.02与0.29之间的稳加工硬化阶段,以及真应变大于0.29的弱加工硬化阶段.电子显微技术研究表明316L不锈钢三个不同的变形阶段,其加工硬化机制、微观组织特征有所不同

▪ 3.1 并行程序开发方法 ▪ 3.1.1 并行层次与代码粒度 ▪ 3.1.2 并行程序开发策略 ▪ 3.1.3 并行编程模式 ▪ 3.1.4 并行应用编程过程 ▪ 3.2 并行程序设计模型 ▪ 3.2.1 计算π样本程序 ▪ 3.2.2 数据并行模型 ▪ 3.2.3 消息传递模型 ▪ 3.2.4 共享变量模型 ▪ 3.3 并行编程语言和环境概述 ▪ 3.3.1 早期并行编程语言 ▪ 3.3.2 近代并行编程语言与环境 ▪ 3.3.3 并行说明性语言环境 ▪ 3.4 循环程序并行化的一般方法 ▪ 3.4.1 数据相关分析 ▪ 3.4.2 .数据划分与处理器指派 ▪ 3.4.3 循环重构

利用扫描电镜-能谱仪及热重分析仪研究了添加钾盐催化剂的脱灰生物质焦的物理结构、化学成分及其与CO2的气化反应,并分别采用均相模型和收缩未反应核模型对实验数据进行处理,得到动力学参数.研究发现钾盐对脱灰生物质焦-CO2气化反应有明显催化作用,可提高整体反应速率,并减少反应时间.随着钾盐的增加(质量分数在0%~4%的范围内),附着在生物质焦表面的富钾催化点增多,催化作用逐渐增大,反应的活化能逐渐降低.由于(脱灰)生物质焦的灰分含量很低,与未反应核模型相比,均相模型更适合于描述生物质焦-CO2的气化反应过程

随着物联网技术的发展，前端传感器的使用使得低合金钢的海水腐蚀监测成为了现实，从而获得了大量的腐蚀数据。针对传统均值法处理双率腐蚀数据带来的数据信息损失以及建模精度下降问题，提出了一种基于综合指标值(CIV)和改进相关向量回归(IRVR)的双率腐蚀数据处理和建模算法(CIV-IRVR)。首先，通过构建CIV表征输入数据的综合影响并采用天牛须搜索(BAS)算法对其参数进行寻优；然后，建立最优CIV序列与输出数据间的线性回归模型将双率数据转化为建模用的单率数据，能够更多地保留原始数据信息；最后，给出了一种BAS算法优化的具有组合核函数的改进相关向量回归建模方法(IRVR)，并建立了针对低合金钢海水腐蚀双率数据的CIV-IRVR预测模型。结果表明：相比于均值方法处理双率腐蚀数据，所提方法将建模样本数量由196提升到了1834；相比于海水腐蚀建模领域常用的人工神经网络(ANN)和支持向量回归(SVR)建模方法，所提模型的平均绝对误差(MAE)、均方根误差(RMSE)和决定系数(CD)分别为1.1914 mV、1.5729 mV以及0.9963，在各项指标上均优于对比算法，说明所提模型不仅减少了信息损失还提高了建模精度，对于双率海水腐蚀数据建模具有一定现实意义

建立快速有效的针对大规模文本数据的聚类分析方法是当前数据挖掘研究和应用领域中的一个热点问题.为了同时保证聚类效果和提高聚类效率，提出基于\互为最小相似度文本对\搜索的文本聚类算法及分布式并行计算模型.首先利用向量空间模型提出一种文本相似度计算方法；其次，基于\互为最小相似度文本对\搜索选择二分簇中心，提出通过一次划分实现簇质心寻优的二分K-means聚类算法；最后，基于MapReduce框架设计面向云计算应用的大规模文本并行聚类模型.在Hadoop平台上运用真实文本数据的实验表明：提出的聚类算法与原始二分K-means相比，在获得相当聚类效果的同时，具有明显效率优势；并行聚类模型在不同数据规模和计算节点数目上具有良好的扩展性

针对采用以太网控制自动化技术(EtherCAT)工业总线的感应电机交-直-交变频矢量控制系统的入侵检测技术进行了研究. 首先通过对EtherCAT总线协议进行深度解析, 结合目前为止已经发现的EtherCAT工业总线常见协议漏洞, 提取协议数据包的关键特征并构建EtherCAT总线协议入侵检测规则库, 采用三维指针链表树作为针对EtherCAT总线协议规则库的检索数据结构; 其次, 根据感应电机交-直-交变频矢量控制系统的物理模型, 进行模型参数仿真计算, 并根据仿真计算值, 构建矢量控制模型入侵特征的最小二乘支持向量机(least square support vector machine, LSSVM)分类器, 使用混沌粒子群优化(choatics particle swarm optimization, CPSO)算法对分类器的参数进行优化, 二者共同构成了CPSO-LSSVM入侵检测分类算法. 异常数据包在被分类后, 会被传递给Suricata入侵检测引擎进行精确规则匹配; 最后为该入侵检测系统搭建物理实验环境, 经过测试, 本文中的交-直-交变频矢量控制模型仿真结果动态性能良好, 与实际矢量控制系统参数的波形变化趋势相近. 通过抽取KDD Cup99测试数据集中的一部分对该入侵检测系统实施DOS攻击、R2L、U2R以及PROBING攻击行为, 验证该入侵检测系统的有效性