▪ Architecture of Search Engines ▪ Index Construction ▪ Boolean Retrieval ▪ Vector Space Model for Ranked Retrieval

• 数据处理 • 文件组织 • 数据库技术 • 数据仓库与数据挖掘技术

《高性能计算机网络》课程教学课件（讲义）第十章 大数据之Web典型应用 第57讲 Mahout数据挖掘平台

多维事务数据库DB的结构为 (ID,AA2,, Anitems),A是DB中的结构化 属性(例如顾客的年龄,职业收入等),而 items是同事务连接的项的集合(例如购物篮 中频繁项集)。每一个 t=(id,aa 2..2 items-t)由两部分信息组成: 维信息(a1,a2man)项集信息。 挖掘过程分为两部分:挖掘维度信息的模 式和从投影的子DB中找出频繁项集

多维事务数据库DB的结构为 (ID,A,AAn, items),A是DB中的结 构化属性(例如顾客的年龄,职业收入等), 而 items是同事务连接的项的集合(例如购 物篮中频繁项集)。每一个 t=(id,aa2man,items--t)由两部分信息 组成:维信息(a1,a2man)和项集信息。 挖掘过程分为两部分:挖掘维度信息的模 式和从投影的子DB中找出频繁项集

《工程科学学报》：基于文本挖掘的矿山安全隐患大数据分析与可视化

给出了一种分布式Web日志挖掘模型DWLMS.根据对挖掘过程及算法进行分析,提出了一种基于DWLMS的局部频繁路径的更新算法LFP和全局频繁路径的更新算法GFP,较好地解决了Web访问信息的异地存储、实时增长、分布式算法通讯量等因素给模式分析过程带来的困难.在实验室对该方法进行了简单实现和实际日志数据的测试,结果表明了算法的有效性

3.1 相关概念. 3 3.1.1 购物篮分析.3 3.1.2 支持度、置信度与关联规则.4 3.1.3 关联规则挖掘.4 3.2 频繁项集的产生. 5 3.2.1 格结构.5 3.2.2 Apriori 性质.6 3.2.2 Apriori 算法.6 3.3 规则的产生. 7 3.3.1 由频繁项集产生关联规则.7 3.3.2 基于置信度的剪枝.8 3.3.2 提高 Apriori 方法的有效性.8 3.4 关联规则挖掘在图情领域中的应用. 10 3.4.1 在信息检索中的应用.10 3.4.2 在图书馆服务中的应用.11 3.4.3 在学科关系中的应用.11 3.5 关联规则挖掘的案例与软件操作. 12 3.5.1 关联规则挖掘（SPSS Modeler） .12 3.5.2 关联规则挖掘（R 语言）.18

2.1 数据类型. 2 2.1.1 离散型数据.2 2.1.2 连续型数据.2 2.2 数据预处理. 2 2.2.1 数据预处理的原因.2 2.2.2 数据预处理的主要步骤.3 2.3 数据清理. 5 2.3.1 空缺值.5 2.3.2 噪声数据.5 2.4 数据集成. 7 2.4.1 实体识别问题.7 2.4.2 数据冗余.7 2.4.3 元组重复.8 2.5 数据归约. 8 2.5.1 数据立方体聚集.9 2.5.2 维归约.10 2.5.3 数量归约.11 2.5.4 数据压缩.12 2.6 数据变换. 12 2.6.1 数据规范化.12 2.6.2 数据离散化与概念分层.13 2.7 数据预处理的软件操作（SPSS Modeler）. 16 2.7.1 数据类型.16 2.7.2 数据清理.17 （1）缺失值与无效值.17 （2）孤立值和极值.22 2.7.3 数据集成.25 （1）纵向追加.25 （2）横向合并.26 （3）元组重复.28 2.7.4 数据归约.29 （1）抽样.29 （2）分箱.32 （3）特征选择.36 （4）因子分析.37 2.7.5 数据变换.40

 机器学习是数据分析与挖掘的一种手段  机器学习是什么？  利用经验改善系统自身的性能  关于T和P，程序对E进行学习  Looking for a function  机器学习发展史  人工智能三阶段：推理期、知识期、学习期  深度学习∈机器学习∈人工智能  机器学习基本术语  回归、分类；模型、学习器；样本、样例……  模型选择：奥卡姆剃刀？NFL？