《数据分析课程设计》课程实验教学大纲 一、课程基本信息 课程代码：16008102 课程名称：数据分析课程设计 英文名称：Design of Data Analysis 实验总学时：32学时 适用专业：信息管理与信息系统、大数据管理与应用 课程类别：专业课 先修课程：数据分析方法与工具、商务智能 二、实验教学的总体目的和要求 1、对学生的要求 能够使用合适的工具(R/PYTHOR)及时完成每个项目的实验内容，按时提交实 验报告。独立完成综合实验：选取问题、确定目标、获取数据、数据分析、数据可 视化、撰写实验报告 2、对教师的要求 熟悉R/python语言，熟悉数据分析的完整过程，熟悉相关统计知识，能够耐 心认真指导学生进行实验操作 3、对实验条件的要求 R软件/Pythor 三、实验教学内容 实验项目一豆瓣电影top250数据爬取和分析 实验名称：豆瓣电影top250数据爬取和分析 实验内容：从豆瓣网爬取电影to即250，进行探索性分析和可视化分析
《数据分析课程设计》课程实验教学大纲 一、课程基本信息 课程代码：16008102 课程名称：数据分析课程设计 英文名称: Design of Data Analysis 实验总学时：32 学时 适用专业：信息管理与信息系统、大数据管理与应用 课程类别：专业课 先修课程：数据分析方法与工具、商务智能 二、实验教学的总体目的和要求 1、对学生的要求 能够使用合适的工具（R/PYTHON）及时完成每个项目的实验内容，按时提交实 验报告。独立完成综合实验：选取问题、确定目标、获取数据、数据分析、数据可 视化、撰写实验报告 2、对教师的要求 熟悉 R／python 语言，熟悉数据分析的完整过程，熟悉相关统计知识，能够耐 心认真指导学生进行实验操作 3、对实验条件的要求 R 软件/Python 三、实验教学内容 实验项目一 豆瓣电影 top250 数据爬取和分析 实验名称：豆瓣电影 top250 数据爬取和分析 实验内容：从豆瓣网爬取电影 top250，进行探索性分析和可视化分析
思政教有：编写爬虫程序时应注意： 令采集的信息中是否包含个人隐私或商业机密 对方是否同意或授权采集这些信息 令对方是否同意或授权转载，不可擅作主张转载到自己的平台 令采集后的信息如何使用，公开展示时是否需要脱敏处理，是否用于盈利 令是否会对对方服务器造成伤害，例如拖垮宕机、影响正常业务 非法爬取数据违法，要受到相应的法律制裁。通过案例讲解，提醒同学们注意合 法获取数据 《刑法》第二百一十七条规定的“侵犯著作权罪 以营利为目的，有下列侵犯著作权情形之一，违法所得数额较大或者有其他严重情 节的，处三年以下有期徒刑或者拘役，并处或者单处罚金：违法所得数额巨大或者 有其他特别严重情节的，处三年以上七年以下有期徒刑，并处罚金： (一)未经著作权人许可，复制发行其文字作品、音乐、电影、电视、录像作品、 十算机软件及其 h作品 (二)出版他人享有专有出版权的图书的： (三)未经录音录像制作者许可，复制发行其制作的录音录像的： (四)制作、出售假目他人署名的美术作品的。伤害，例如拖垮宕机、影响正常业 《刑法》第二百五十三条之一规定的“侵犯公民个人信息罪” 违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下 有期徒刑或者拘役，并处或者单处罚金：情节特别严重的，处三年以上七年以下有 期徒刑，并处罚金。 违反国家有关规定，将在履行职责或者提供服务过程中获得的公民个人信息，出售 或者提供给他人的，依照前款的规定从重处罚 窃取或者以其他方法非法获取 民个人信息的 依照第一款的规定处罚 单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任 人员，依照各该款的规定处罚。 1.上海市金山区人民法规(20180116超924号事判表 2.河南离济市人民法(2018)9001刑503号利决书 规获公代个人信他人出，情书将
思政教育: 编写爬虫程序时应注意： 采集的信息中是否包含个人隐私或商业机密 对方是否同意或授权采集这些信息 对方是否同意或授权转载，不可擅作主张转载到自己的平台 采集后的信息如何使用，公开展示时是否需要脱敏处理，是否用于盈利 是否会对对方服务器造成伤害，例如拖垮宕机、影响正常业务 非法爬取数据违法,要受到相应的法律制裁。通过案例讲解，提醒同学们注意合 法获取数据。 《刑法》第二百一十七条规定的“侵犯著作权罪” 以营利为目的，有下列侵犯著作权情形之一，违法所得数额较大或者有其他严重情 节的，处三年以下有期徒刑或者拘役，并处或者单处罚金；违法所得数额巨大或者 有其他特别严重情节的，处三年以上七年以下有期徒刑，并处罚金： （一）未经著作权人许可，复制发行其文字作品、音乐、电影、电视、录像作品、 计算机软件及其他作品的； （二）出版他人享有专有出版权的图书的； （三）未经录音录像制作者许可，复制发行其制作的录音录像的； （四）制作、出售假冒他人署名的美术作品的。伤害，例如拖垮宕机、影响正常业 务 《刑法》第二百五十三条之一规定的“侵犯公民个人信息罪” 违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下 有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有 期徒刑，并处罚金。 违反国家有关规定，将在履行职责或者提供服务过程中获得的公民个人信息，出售 或者提供给他人的，依照前款的规定从重处罚。 窃取或者以其他方法非法获取公民个人信息的，依照第一款的规定处罚。 单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任 人员，依照各该款的规定处罚
实验性质：设计性 实验学时：4 实验目的与要求 L.掌握Python爬取数据的方法 2.熟悉Python做EDA 3.熟悉Python做数据可视化 实验条件：Python或R 研究与思考：怎么用python爬数据？ 实验项目二推荐系统：基于电影评分的推荐系统设计与实现 实验名称：基于电影评分的推荐系统设计与实现 实验内容： I.学习协同过滤算法、UBCF和IBCF 2.获取数据 https://grouplens.org/datasets/movielens/100k/ https://rstudio-pubs-static.s3.amazonaws.com/255284 5320d823aad2405eaaf4 1941c0d7b9d2.html#1 3.对数据进行探索性分析，利用推荐算法对数据分析， 4.撰写数据分析报告 思政教育：(1)大数据/复杂数据本质上却是非独立同分布的(no-IID),各国 之间何存在提合关系，构成了世界共同休 现有理论和商业系统大都假设数据是独立同分布的(ID) 而大数据/复杂数 据本质上却是非独立同分布的(non-IID)，即 个对象的属性和行为，或多或少地 会影响另一个对象，比如推荐系统中用户之间存在的夫妻关系、父子关系等都会对 推荐商品产生一定程度的影响，因此需要纳入评分公式以提升推荐质量。非独立同 分布中存在耦合关系。一个国家是不能独立于世界之外的，各国彼此之间应该相互 迎解石相重 才能合作共赢。以新冠肺炎疫情防控为例，我国政府通过一系列 科学有效的措施 终于控制住了病毒的蔓延。 (2)凡事有度，过犹不及 随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的 时间才能找到自己想买的商品，在信息过载问题中的消费者不断流失。推荐系统利 用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模 拟销售人员 元成” 在的推 荐系 也限 了消费者 选择范围、做出创新性选择的机会，推荐系统过于密集的主动干预会妨碍受教育者 认真思考自己的需求，机械地接受系统的每一步指令，放弃发挥和锻炼自身的主体 性
实验性质：设计性 实验学时：4 实验目的与要求： 1.掌握 Python 爬取数据的方法 2.熟悉 Python 做 EDA 3.熟悉 Python 做数据可视化 实验条件：Python 或 R 研究与思考：怎么用 python 爬数据？ 实验项目二 推荐系统：基于电影评分的推荐系统设计与实现 实验名称：基于电影评分的推荐系统设计与实现 实验内容： 1．学习协同过滤算法、UBCF 和 IBCF 2．获取数据 https://grouplens.org/datasets/movielens/100k/ https://rstudio-pubs-static.s3.amazonaws.com/255284_5320d823aad2405eaaf4 1941c0d7b9d2.html#1 3. 对数据进行探索性分析，利用推荐算法对数据分析， 4. 撰写数据分析报告 思政教育：（1）大数据/复杂数据本质上却是非独立同分布的（non-IID），各国 之间存在耦合关系，构成了世界共同体 现有理论和商业系统大都假设数据是独立同分布的（IID），而大数据/复杂数 据本质上却是非独立同分布的（non-IID），即一个对象的属性和行为，或多或少地 会影响另一个对象，比如推荐系统中用户之间存在的夫妻关系、父子关系等都会对 推荐商品产生一定程度的影响，因此需要纳入评分公式以提升推荐质量。非独立同 分布中存在耦合关系。一个国家是不能独立于世界之外的，各国彼此之间应该相互 理解、互相尊重，才能合作共赢。以新冠肺炎疫情防控为例，我国政府通过一系列 科学有效的措施，终于控制住了病毒的蔓延。 （2） 凡事有度，过犹不及 随着电子商务规模的不断扩大，商品个数和种类快速增长，顾客需要花费大量的 时间才能找到自己想买的商品，在信息过载问题中的消费者不断流失。推荐系统利 用电子商务网站向客户提供商品信息和建议，帮助用户决定应该购买什么产品，模 拟销售人员帮助客户完成购买过程。但是无处不在的推荐系统也限制了消费者扩大 选择范围、做出创新性选择的机会，推荐系统过于密集的主动干预会妨碍受教育者 认真思考自己的需求，机械地接受系统的每一步指令，放弃发挥和锻炼自身的主体 性
实验性质：设计性 实验学时：4 实验目的与要求： 1.掌握常用推荐算法 2.掌握Python或R语言做推荐系统 实验条件：Python或R 研究与思考：主要推荐方法有哪些？ 实验项目三聚类分析：基于RFM分析的客户分群 实验名称：基于RFM分析的客户分群 实验内容： 1.学习RF模型和聚类算法 2.获取数据来自Kaggle数据集 https://www.kaggle.com/hendraherviawan/customer-segmentation-using-rfm-a nalysis-r 3.采用合适的聚类算法进行客户分群 4.撰写数据分析的实验报告 实验性质：设计性 实验学时：4 实验目的与要求： 1,堂握RF川分析方法 2.掌握R语言或Python做聚类的方法 实验条件：Python或R研究与思考： 1.聚类方法的区别解读：各种聚类分析 2.各种聚类方法的区别？ 思政教育：聚类，可以把朋友分成不同类型。体会友谊对人生发展的重要意义。俗 话说，人以群分、物以类聚，一个善良的朋友能将人带入天堂，而一个邪恶的朋友 能将人引入地狱。交良师益友，有助于青年人健康成长
实验性质：设计性 实验学时：4 实验目的与要求： 1．掌握常用推荐算法 2. 掌握 Python 或 R 语言做推荐系统 实验条件：Python 或 R 研究与思考：主要推荐方法有哪些？ 实验项目三 聚类分析：基于 RFM 分析的客户分群 实验名称：基于 RFM 分析的客户分群 实验内容： 1. 学习 RFM 模型和聚类算法 2. 获取数据来自 Kaggle 数据集 https://www.kaggle.com/hendraherviawan/customer-segmentation-using-rfm-a nalysis-r 3. 采用合适的聚类算法进行客户分群 4. 撰写数据分析的实验报告 实验性质：设计性 实验学时：4 实验目的与要求： 1．掌握 RFM 分析方法 2．掌握 R 语言或 Python 做聚类的方法 实验条件：Python 或 R 研究与思考： 1. 聚类方法的区别解读：各种聚类分析 2. 各种聚类方法的区别？ 思政教育：聚类，可以把朋友分成不同类型。体会友谊对人生发展的重要意义。俗 话说，人以群分、物以类聚，一个善良的朋友能将人带入天堂，而一个邪恶的朋友 能将人引入地狱。交良师益友，有助于青年人健康成长
实验项目四分类分析：基于UCI的german数据集评分卡设计 实验名称：基于UCI的german数据集评分卡设计 实验内容 1.学习LR算法、风险管理工具评分卡的设计 2,获取数据来自UCI数据集 https://archive.ics.uci.edu/ml/machine-learning-databases/statlog/german 3.评分采用LR算法对信用卡客户进行分类分析 4.撰写数据分析报告 实验性质：设计性 实验学时：4 实验目的与要求： 1.掌握数据处理和特征选择方法 2利用R语言或Python 解决分类问题 3.掌握金融行业风险管理工具评分卡的设计 实验条件：Python或R 研究与思考：信用风险评估评分卡建模方法及原理？ 实验项目五超市销售预测 实验名称：超市销售预测 实验内容： 1.学习线性回归算法、决策树算法、随机森林算法 2.获取数据，数据集来自www.analyticsvidhya.com的竞赛 https://www.analyticsvidhya.com/blog/2016/02/complete-tutorial-learn-dat a-science-scratc 3 对数据 进行探索性分析、回归等数据分析处理，结果可视化显示 4.撰写数据分析报告
实验项目四分类分析：基于 UCI 的 german 数据集评分卡设计 实验名称：基于 UCI 的 german 数据集评分卡设计 实验内容： 1．学习 LR 算法、风险管理工具评分卡的设计 2．获取数据来自 UCI 数据集 https://archive.ics.uci.edu/ml/machine-learning-databases/statlog/german / 3． 评分采用 LR 算法对信用卡客户进行分类分析 4． 撰写数据分析报告 实验性质：设计性 实验学时：4 实验目的与要求： 1．掌握数据处理和特征选择方法 2. 利用 R 语言或 Python 解决分类问题 3. 掌握金融行业风险管理工具评分卡的设计 实验条件：Python 或 R 研究与思考：信用风险评估评分卡建模方法及原理? 实验项目五 超市销售预测 实验名称：超市销售预测 实验内容： 1．学习线性回归算法、决策树算法、随机森林算法 2．获取数据，数据集来自 www.analyticsvidhya.com 的竞赛 https://www.analyticsvidhya.com/blog/2016/02/complete-tutorial-learn-dat a-science-scratch/ 3. 对数据进行探索性分析、回归等数据分析处理，结果可视化显示 4. 撰写数据分析报告
实验性质：设计性 实验学时：4 实验目的与要求： 1.熟悉数据预处理和探索性分析 2.熟悉数据可视化显示 3.掌握常用的回归算法 实验条件：Python或R 研究与思考：可用于购买行为预测的模型和方法有很多，包括决策树方法、贝叶斯 分类算法、支持向量机、神经网络方法、时间按序列预测法方法，思考各预测方法 的优缺点？ 实验项目六信用卡欺诈分析（选做） 实验名称：信用卡欺诈分析 实验内容： 1.学习决策树算法、随机森林算法、xgboost算法、神经网络算法 2.获取数据集https:/rpubs..com/kieroneil/321413 3. 数据进行探索性分析，选择合适模型进行数据分析并且评价模型 4.撰写数据分析报告 参考教程：https:/rpubs.com/kieroneil/321413 思政教育：培养学生诚实守信的良好品质。 信用卡欺诈属于违法犯罪罪行为根据刑法第196条的规定，信用卡诈骗罪是指 以非法占有为目的，违反信用卡管理法规，利用信用卡进行诈骗活动，骗取财物数 额较大的行为。利用信用卡，一般是指使用伪造的、作废的信用卡或者冒用他人的 信用卡、恶意透支的方法进行诈骗活动。 实验性质：设计性 实验学时：4 实验目的与要求： 1.孰悉数据处理 2.熟悉常用的分类算法 3.掌握模型评价指标AUC 实验条件：Python或R 研究与思考：常用分类算法有哪些？
实验性质：设计性 实验学时：4 实验目的与要求： 1．熟悉数据预处理和探索性分析 2．熟悉数据可视化显示 3．掌握常用的回归算法 实验条件：Python 或 R 研究与思考：可用于购买行为预测的模型和方法有很多，包括决策树方法、贝叶斯 分类算法、支持向量机、神经网络方法、时间按序列预测法方法，思考各预测方法 的优缺点？ 实验项目六 信用卡欺诈分析（选做） 实验名称：信用卡欺诈分析 实验内容： 1. 学习决策树算法、随机森林算法、xgboost 算法、神经网络算法 2. 获取数据集 https://rpubs.com/kieroneil/321413 3. 数据进行探索性分析，选择合适模型进行数据分析并且评价模型 4. 撰写数据分析报告 参考教程：https://rpubs.com/kieroneil/321413 思政教育：培养学生诚实守信的良好品质。 信用卡欺诈属于违法犯罪罪行为根据刑法第 196 条的规定，信用卡诈骗罪是指 以非法占有为目的，违反信用卡管理法规，利用信用卡进行诈骗活动，骗取财物数 额较大的行为。利用信用卡，一般是指使用伪造的、作废的信用卡或者冒用他人的 信用卡、恶意透支的方法进行诈骗活动。 实验性质：设计性 实验学时：4 实验目的与要求： 1.熟悉数据处理 2.熟悉常用的分类算法 3.掌握模型评价指标 AUC 实验条件:Python 或 R 研究与思考：常用分类算法有哪些？
如果构建模型评价指标 综合课程设计实验 实验名称：综合课程设计实验 实验内容： 请在你所感兴趣的行业里面，选取自己感兴趣的研究问题，设定目标。利用R 语言完成数据的获取，处理和探索性分析和建模，并且撰写数据分析报告。 实验性质：设计性 实验学时：12 实验目的与要求： 1.学握数据分析的过程 2.能够根据问题选择合适的模型进行数据分析和模型评价，编写R代码实现 3.撰写数据分析报告 实验条件：Python或R 四、考核方式 考核方式： 本课程采用课程设计的考核方式，学生自选问题、获取数据、分析数据、得出 结论，并且可视化显示，最终完成课程设计报告。期末课程设计占总成绩6%。 课程总成绩=实验(30%)+考勤(10%)+自选实验和讨论(10%)+期末考试(50% 每次实验课后提交实验报告，根据实验完成情况给以A、B、C三个档次的成绩 实验成绩占总成绩30%。 每次实验考勤，考勤占10%。 两个自选实验和讨论占成绩10%。 五、推荐实验教材和教学参考书 2:张，良均等Phn数提分析与挖掘实成.机械工业出版社20188 美]韦斯·麦金尼.利用Python进行数据分析（原书第2版）.徐敏一.机械工 业出版社。2018-8 六、其他需说明的（黑体/小四）
如果构建模型评价指标 综合课程设计实验 实验名称：综合课程设计实验 实验内容： 请在你所感兴趣的行业里面，选取自己感兴趣的研究问题，设定目标。利用 R 语言完成数据的获取，处理和探索性分析和建模，并且撰写数据分析报告。 实验性质：设计性 实验学时：12 实验目的与要求： 1.掌握数据分析的过程 2.能够根据问题选择合适的模型进行数据分析和模型评价，编写 R 代码实现 3.撰写数据分析报告 实验条件：Python 或 R 四、考核方式 考核方式： 本课程采用课程设计的考核方式，学生自选问题、获取数据、分析数据、得出 结论，并且可视化显示，最终完成课程设计报告。期末课程设计占总成绩 60%。 课程总成绩=实验（30%）+考勤（10%）+自选实验和讨论（10%）+期末考试（50%） 每次实验课后提交实验报告，根据实验完成情况给以 A、B、C 三个档次的成绩， 实验成绩占总成绩 30%。 每次实验考勤，考勤占 10%。 两个自选实验和讨论占成绩 10%。 五、推荐实验教材和教学参考书 1. 张良均等.Python 数据分析与挖掘实战.机械工业出版社。2018-8 2. [美]韦斯·麦金尼.利用 Python 进行数据分析（原书第 2 版）. 徐敬一.机械工 业出版社。2018-8 六、其他需说明的（黑体／小四）
大纲修订人：周瑾 修订日期：2023.2.15 大纲审定者：周瑾 审定日期：2023.2.20
大纲修订人： 周瑾 修订日期 :20 2 3 . 2 .15 大纲审定者： 周瑾 审定日期 :20 2 3 . 2 . 2 0
