中国人民大学：《非参数统计》课程教学资源（教案讲义，综合版）第一章绪论.pdf_大学文库

2020/2/14 1 中国人民大学统计学院 2019年9月主讲人: 王星办公电话:010-82500167 办公室: 明德主楼 1019 沟通邮箱： wangxingwisdom@126.com 非参数统计（在职研究生）研讨的问题  为什么学习非参数统计？  非参数统计主要包括的内容有哪些？  课程特点  基本概念回顾案例导引：ZJ大学正态成绩事件然而在接到外界媒体询问时，大学教务处却表示近期并不准备将这项政策推广到所有课程，仅限于本科通识课，但我们会研发类似的标准成绩，但这项研发的焦点不在于扩大在校生不及格比例。 2012年一则教育新闻报导，ZJ大学正在试行一种“正态型成绩单”，这份正态成绩单上很多成绩都将做正态化处理，这样，学生拿着成绩单无论是面试还是求学，都更容易让对方面试者知道他某门课程在学习群体中的实际水平。比如，90分表示在这项科目上低于他的学生不会少于80% （Top20），60分表示在这项科目上位于20%较低的水平。 ZJ大学的正态成绩单分析(参考)  正方 “正态分布为学生提供了竞争的意识，能够有效促进学生的学习积极性。强制规定分数分布不科学的质疑，他表示， “但是如果说21% 不行，一定要降到20% 也 “如果不正态分布的话，不太好。也就是说不喜欢‘被迫’的正态分布。压力和权力将全部转嫁到教师身上。” 对分数进行强行规定是一种粗暴的行为。 “就是毫无人性的教条主义。 GPA 有了实质性的降低为正态分布而正态分布的做法不可取思考题2：.成绩正态制要解决的是一个什么样的问题？这个待解决的问题一开始是怎样发生的？思考题1：正态成绩单制是一个好的构想还是一个差的构想？增强成绩可比性，管理规范反方大数据时代唯985论，唯热门专业论，唯？？论!成绩乱象比较普遍，人才识别缺乏标准人才市场需求波动人才调控对策人才标杆策略精英人才的识别（标准化成绩单）优势专业应在市场得到整体保护对好大学懒生适当警示，优化未来市场对大学素质教育的认可度这个故事接下去发展成为： ZJ大学的校内论坛“CC98”上，一个发表于2012 年2 月21 日，投票结果是一边倒的：在177名投票者中，认为这一规定 • “纯属扯淡”（170 人） “一点都不科学”（伪科学）（4 人），达到了174 人，占总投票者的98.3%， • 而选择“比较科学”与“非常科学”的分别只有1 人与2 人。思考题4：为什么会这样？ 1.是统计学的方法不够严谨吗？ 2.是行业应用不了解统计学吗？ 3.是成绩单导致了不及格人数的增长吗？人们到底否定的是什么？人们否定的是纯真的师生文化被空洞化的二分精英理论所取代，到那时，绩效精英与普通民众之间的关系会真正断裂，这样的精英能否代表民众的利益?能否反映民众的要求?是否受民众的影响?一所大学的悲剧正是从人才培养战略选择二分精英论开始的？如何识别人才：成绩单的一个作用是告诉你应该如何预备自己的未来，不是用来选拔人才的唯一指标。比起过去了的成绩而言，人才至少应该是在任何困难面前有足够思考力的人，表现出积极活跃的精英特质。 70分的学生把30分留给面试官，90分的学生要告诫自己，你不会的没考到，太不幸了，请从零开始 1 2 3 4 5 6

2020/2/14 2 思考题3  分布适合作为一种标准吗？什么时候合适？什么时候不合适？合适的情况下，分布的作用是什么？ ⚫ 分布是用来刻画不确定性的，不确定的由来：一方面是由测量误差所引起的，惟极贫无依，则械系不稍宽，为标准以警其余。——清·方苞《狱中杂记》，而另一反方面是由可见数据集的有限性所引起的，标准不能用来刻画后者的不确定性。 ⚫ 合适的例子：标的物固定，技术标准是否达标； ⚫ 不合适的例子：标的物不固定。  在评标物分布不固定的时候，研究分布的意义是什么？ ⚫ 分布的存在性，结构性，密度性，差异性 ⚫ 建立分布边界，有效利用分布特点进行差异化分析从统计应用来看这次失败的案例统计失败原因之一：应用场景选择错误这个项目的失败是由于问题的复杂性，在成绩单功能的认识上，它主要的功能还是用来反映学生学习状态，知识掌握程度的工具，若硬要将成绩单开发成一种在人才市场上精英人才快速甄别的专业占领市场策略，则还有大量的灰色地带有待开发，后来者居上的成功人士都经历过先有差成绩单而后奋起搏发的励志经历，教育不应陷入“成绩绑架”论。在危机面前策略简单化的驱动下，成绩对个体的正面激励作用被忽略了。数据分析如此复杂，有哪些基本的要领 ---数据分析有过程 ---一步一步向上建统计的能与不能之争  对统计需求的变化从套用、移花接木式的统计应用向对统计设计的需求  Good of fit 检验：用于检查目前的数据是否和给定的一种正常的情况是吻合的，如果差距较大，表示那种正常的假设是与数据目前提供的信息是不相匹配的。  Lack of fit 检验：以数据为中心，检验当前的模型是否合适，如果不合适，提供哪些信息量来辅助建模模型模型1 模型2 模型3 模型5 模型4 模型为中心的建模数据为中心的建模三种参数的认识  （为了算法正常运行）环境技术参数：脚手架是为了保证分析过程顺利进行而搭设的工作平台参数，例如为算法停止而设置的参数，这些参数是程序依赖的，不是数据依赖的；  （信号）统计参数： ⚫ 代表数据中稳定的信息部分，这些信息可以告诉我们应该选择怎样的模型来提取数据的模型尝试中的lack of fit检验统计量和结果，这些检验结果帮助我们尝试不同的模型空间信息； ⚫ ；  （防止算法崩溃）计算参数： ⚫ 在提取模型的时候，需要在模型空间上进行参数的估计，然而模型的系数在全局优化的目标下会变形，在模型空间中为防止选择错误的模型而辅助性的设置的参数，也是经常调参的参数所指。非参数统计的作业要求  陈述问题State the problem  描述数据Describe the data  翻阅并思考怎样的统计方法适合你手中的数据Review what statistical methods are available to analyze your data  将这些方法的优点和缺点列出来，特别是将非参数统计的方法和参数方法做一些比较List their advantages and disadvantages, in particular compare nonparametric to parameteric methods  用非参数方法提出一种解决方案Propose a solution using nonparametric methods  列出你将要完成的分析任务（收集数据，编程，模拟数据，估计和检验）List all the tasks that you plan to do: collecting data, programming, simulating data, estimating, testing, etc. 7 8 9 10 11 12

2020/2/14 3 老木匠和学徒的对话  老木匠在一堆木头中选一段上好的木头做桌面，小学徒挑出一段又大又直的木头，自认为是好木料，老木匠拿来敲一敲，“这明明是块空心木头，怎么会是上好的木料”？老木匠说“从声音中可以分辨出来，如果声音很低很小，就是实心的，如果声音很高很大，就是空心的”。  又一次，师傅要找一根有用的木头，最后找了一根弯的不成样子的木头，找这根弯木头干什么呢？师傅说“不是只有直木头才有用，弯弯的木头就没有用，直或弯只是木头的特点，不是木头的缺点，你找这根木头何用吗？是用来做牛轭，这是一块好材料”，师傅说：“所谓有用，不是放到哪里都有用，直木头放在直的地方正合适，弯木头放在直的地方就是废料，世上的东西，大都如此，放对地方，就是好料，放错地方就是废料”  在选配用于木结构的各种木料时，应该比设计的尺寸要放长一点。木材在加工制作过程中，要经过锯、刨、凿等多道工序，为防止在凿眼、拼装等过程中，因受力过猛而发生崩裂等情况，在下料时，除在界面尺寸适当放大外．还要在长度方面放大一定的尺寸，等到拼装完毕、受力稳定后，再把多余的部分锯掉。 LEO Breiman也说过类似的话：统计学家就该定位于一个好木匠识人用人如此，识数用数，做“有心的正直木匠”，大体也如此。知识模块和课程体系非参数统计基础单一总体的统计推断两总体位置和尺度推断定性数据的分析定量数据的相关和回归非参数密度估计非参数回归多总体位置推断 R及其应用非参数统计估计和检验方法分类数据的检验方法非参数密度估计非参数回归时间事件分析对数线性模型秩理论课本和参考书: 1. 王星,褚挺进, 非参数统计[M], 清华大学出版社, 2015,09. 勘误表之后会列在网站上 2.John Kloke,Joseph W.McKean,Nonparametric Statistical Methods Using R,CRC Press 3.Jeffrey D.Hart,Nonparametric Smoothing and lack-ofFit Tests,Springer. 4.Larry Wasserman, All of non-parametric Statistics[M], Chap 2,Chap 3,Chap 5*, Chap 6*. 5.吴喜之,2006, 非参数统计[M], 中国统计出版社; 6.John A. Rice, Mathematical Statistics and Data Analysis[M], chap 9, 10,11,13. 第一章绪论主要内容: 1. 什么是统计推断，统计推断中的基本概念？ 2. 非参数统计方法简介 3. 参数统计过程与非参数统计的比较 4. 非参数统计的历史 5.必要的准备知识什么是非参数统计？非参数统计的主要内容是什么？ Role of Statistics Role of Statistics and statisticians have always played a major role, but this has changed. It used to be almost entirely in descriptive as opposed to theoretical statistics, and observational rather than inferential. Now the processes can best be described as descriptive statistics plus modeling. However, ”It is descriptive statistics and scientific method which have to become fully one” Ehrenberg.A.S.C.(1968)J.R.Statist.Sco.A.131,201 13 14 15 16 17 18

2020/2/14 6 单边检验和双边检验的p值?? 莫德尔和他的学术之梦 “实验的假设很有趣，而且数据也能够有力支持实验假设。”用来衡量统计显著性的常用指标是P值。该实验中的P值为0.01，莫德尔十分有把握能把自己的论文发表在高影响因子的刊物上。由于担心实验结果陷入再现性争论，莫德尔和他的导师布莱恩•诺塞克（Brian Nosek）决定重复实验。添加了新的数据之后，P值变成了0.59，这个数字远未达到学界一般能接受的显著性水平0.05。莫德尔观察到的心理学效应没有了，他年少成名的梦也被打碎了。 http://www.guokr.com/article/438043/ p-值的作用----来自ASA  P-值可以指示数据与一个给定模型的不相容程度  P-值不能衡量假设为真的概率，也不能衡量数据仅由随机因素造成的概率  科学结论、商业决策或政策制定，不应只取决于p-值是否达到一个给定的标准  研究者需对研究进行完整的报告、保证透明度，才能作出合理的结论  P-值或显著性并不能衡量效应的大小和结果的重要性  P-值本身不能衡量模型或假设的可信度。一个例子：对两组学生进行语法测试，如何比较两组学生的成绩是否存在差异？ RANK of SCORE 0.0 5.0 10.0 15.0 20.0 25.0 Histogram For GROUP= Group1 Frequency 6 5 4 3 2 1 0 Std. Dev = 6.28 Mean = 13.0 N = 12.00 原始数据秩 25 30 29 34 24 25 13 32 24 30 32 37 9.5 14.0 12.0 21.0 7.5 9.5 2.0 17.5 7.5 14.0 17.5 24.0 44 33 22 8 47 31 40 30 33 35 18 21 35 28 22 26.0 19.5 5.5 1.0 27.0 16.0 25.0 14.0 19.5 22.5 3.0 4.0 22.5 11.0 5.5 RANK of SCORE 0.0 5.0 10.0 15.0 20.0 25.0 Histogram For GROUP= Group2 Frequency 6 5 4 3 2 1 0 Std. Dev = 9.17 Mean = 14.8 N = 15.00 非参数检验过程  1.不涉及总体的分布 ⚫ Example: Probability Distributions, Independence  2. 数据的形态各异 ⚫ 定量数据 ⚫ 定序数据 • Example: Good-Better-Best ⚫ 名义数据 • Example: Male-Female  3.例子: Wilcoxon Rank Sum Test/Run Test F, F, F, F, F, F, F, F, M, M, M, M, M, M, M F, M, F, M, F, M, F, M, F, M, F, M, F, M, F 31 32 33 34 35 36

2020/2/14 7 3. 参数与非参数统计比较非参数统计的基本内容  估计 ⚫ 分布函数估计 ⚫ 函数估计 ⚫ 密度估计 ⚫ 统计关系估计: • 定性数据的关联分析 • 非参数回归  假设检验 ⚫ 单一总体 ⚫ 两总体 ⚫ 多总体  对总体假定较少，有广泛的适用性，结果稳定性较好。 ⚫ 1. 假定较少 ⚫ 2. 不需要对总体参数的假定 ⚫ 3. 与参数结果接近  针对几乎所有类型的数据形态。  强调计算 ⚫ 在计算机盛行之前就已经发展起来; ⚫ 估计涉及大量数据的计算。非参数检验的优点  1. 可能会浪费一些信息 n 特别当数据可以使用参数模型的时候。 n Example: Converting Data From Ratio to Ordinal Scale  2. 大样本手算相当麻烦  3. 一些表不易得到非参数检验的弱点 Nonparametric vs Parametric methods  Nonparametric models ⚫ More flexible-no parametric model is needed ⚫ But require storing the entire dataset ⚫ And the computation is performed with all data examples  Parametric models: ⚫ Once fitted, only parameters need to be stored. ⚫ They are much more efficient in terms of computation ⚫ But the model needs to be picked in advance. 课程大纲  第一讲绪论和基本要求  第二讲非参数统计基本概念,分布函数估计  第三讲秩统计量及分布,连续性修正  第四讲单一样本的推断问题(1) 中位数检验  第五讲单一样本的推断问题(2) 趋势和随机游程检验  第六讲单一样本的推断问题(3) ：置信区间计算  第七讲分布的一致性检验  第八讲理论部分:U统计量和渐进相对效率  第九讲两样本位置检验  第十讲多总体推断(一)  第十一讲多总体推断(二)  第十二讲多总体推断(三)  第十三讲分类数据关系分析  第十四讲秩相关分析  第十五讲非参数密度估计  第十六讲局部多项式回归** 37 38 39 40 41 42

2020/2/14 8 4. 非参数统计的历史非参数统计的历史年代代表性人物代表性检验 1900 Karl Pearson Good of fit test 1904 Spearman Spearman等级相关系数 1937 Friedman Friedman Q检验法 1938 Kendall Tau相关系数 1939 Smirnov Smirnov(K_S)检验 1939 Fisher Erwin Fisher精确性检验 1945 Wilcoxon Wilcoxon秩检验法 1947 Mann,Whitney U值检验法 1949 Jackknife Quenouille 1950 Cochran Q检验法 1951 Brown Mood BM中位数检验法 1951 Durbin 均衡的不完全区组设计检验法 1952 Kruskal, Wallis KW检验 1954 Kendall 协和系数法 1958 Bross 非参数Ridit检验 1959 Mantel-Haenszel Q_{MH} 1960 Cohen Kappa一致性检验 1963 Hodges-Lehmann HL估计量 1979 Efron bootstrap 1984 Noether 渐进相对效率的Noether条件 1990 Smoothing 非参数统计的历史  非参数统计思想的形成主要归功于20世纪40 年代～50年代化学家F.Wilcoxon等人的工作。Wilcoxon于1945年提出两样本秩和检验，1947年Mann和Whitney二人将结果推广到两组样本量不等的一般情况；  Pitman于1948年回答了非参数统计方法相对于参数方法来说的相对效率方面的问题；非参数统计的历史（续）  60年代中后期，Cox和Ferguson最早将非参数方法应用于生存分析。  70年代到80年代，非参数统计借助计算机技术和大量计算获得更稳健的估计和预测，以P.J.Huber 以及 F.Hampel为代表的统计学家从计算技术的实现角度，为衡量估计量的稳定性提出了新准则。  90年代有关非参数统计的研究和应用主要集中在非参数回归和非参数密度估计领域，其中较有代表性的人物是Silverman和J. Fan。  大规模计算和自动化分析的需要将非参数统计引入机器学习领域。代表Hastie,Wasserman等。非参数统计历史（1932-1962）在后Fisher时代1932-1962年统计思想史的历程：正是数据科学的孕育期，这个时代的特征是学科壁垒没有那么深厚，很多统计学家实际上一生都是在从事着其他学科，他们对于其他领域的眼界是很开阔的；也正是这段时间，我们看到了整个非参数话语体系的形成，它是在扩大传统统计通往机器学习的过度。他们在解决从化学、生物、心理等急速发展领域中的实际问题过程中发展出一种全新的数据分析观念，这些方法并不是来自于周密的论证，而是借着参数推断已形成的渐进理论和分布表技术，发展存在于数据本身特有的“小秩序”、“稳健性”、“小别离”和 “局部特征”，这些统计方法在当时的推断文化中看似不占有核心位置，甚至也没有成为对思想来源领域认知的主流方法论，但是随着计算技术的发展，却具有动摇整个既有统计文化的强大力量，引起整个数据分析风向的深刻变革。 5. 基本概念 (1)分布函数和经验分布及图形表示 (2)数据的探索 (3)渐进相对效率 (4)非参数置信区间 (5)秩检验统计量 (6)U统计量* 43 44 45 46 47 48

中国人民大学：《非参数统计》课程教学资源（教案讲义，综合版）第一章 绪论

中国人民大学：《非参数统计》课程教学资源（教案讲义，综合版）第一章绪论