统计陷阱 How to Lie with Statistics 达莱尔哈夫著 廖颖林译 刘汗良校 上海财经大学出版社 -1
- 1 - 统计陷阱 How to Lie with Statistics 达莱尔·哈夫 著 廖颖林 译 刘汗良 校 上海财经大学出版社
有3种谎言：谎言、糟糕透顶的谎言和统计资料。 -Disrael 对于追求效率的公民而言，统计思维总有一天会和读写能力一样必要。 -H.G.Wells 使我们陷入麻烦的通常并非我们不知道的事情，而是那些我们知道却不正确的事情。 -Artemus Wand 整数总是不完善的。 -Samuel Johnson 我需要完成一个很大的课题一一统计学，但却感到我的写作功底十分有限，如果不牺牲准 确性和完整性，就很难使人理解。 -Sir Francis Galton -2
- 2 - 有3种谎言：谎言、糟糕透顶的谎言和统计资料。 ——Disraeli 对于追求效率的公民而言，统计思维总有一天会和读写能力一样必要。 ——H. G. Wells 使我们陷入麻烦的通常并非我们不知道的事情，而是那些我们知道却不正确的事情。 ——Artemus Wand 整数总是不完善的。 ——Samuel Johnson 我需要完成一个很大的课题——统计学，但却感到我的写作功底十分有限，如果不牺牲准 确性和完整性，就很难使人理解。 ——Sir Francis Galton
致谢 散见在本书中的关于狡辩和欺诈的小例子经过了广泛的收集，并得到了人们的许 多帮助。在我对美国统计学会发出呼吁后，许多专业统计学家 一请相信我，他们和 任何人一样痛恨对统计资料的溢用 一从他们自身收集的资料中为我提供了大量的实 例。这些人，我猜想，将乐意不被提到姓名。同样，我在许多书籍中发现了有意义的 事例，主要的书籍有：Martin A.Brumbaugh和Lester S.Kellogg所著的《商业统计学》： Hadley Cantril的《公共观点的测定》：Willard Cope Brinton的《统计图》：Frederick E.Croxton和Dudley J.Cowden的《实用商业统计学》：George Simpson和Frit Kafka的《基础统计学》以及Helen M.Walker的《基础统计方法》 3
- 3 - 致谢 散见在本书中的关于狡辩和欺诈的小例子经过了广泛的收集，并得到了人们的许 多帮助。在我对美国统计学会发出呼吁后，许多专业统计学家——请相信我，他们和 任何人一样痛恨对统计资料的滥用——从他们自身收集的资料中为我提供了大量的实 例。这些人，我猜想，将乐意不被提到姓名。同样，我在许多书籍中发现了有意义的 事例，主要的书籍有：Martin A. Brumbaugh和Lester S. Kellogg所著的《商业统计学》； Hadley Cantril 的《公共观点的测定》；Willard Cope Brinton 的《统计图》；Frederick E. Croxton 和 Dudley J. Cowden 的《实用商业统计学》；George Simpson 和 Fritz Kafka 的《基础统计学》以及Helen M. Walker 的《基础统计方法》
目录 绪言 第一章内在有偏的样本 1 第二章精心挑选的平均数 16 第三章没有披露的数据一 -21 第四章毫无意义的工作 29 第五章惊人的统计图形 33 第六章平面图形 第七章不相匹配的资料 名 第八章相关关系与因果关系 48 第九章如何进行统计操纵 54 第十章对统计资料提出的五个问题- -65 -4
- 4 - 目录 绪言 -5 第一章 内在有偏的样本-7 第二章 精心挑选的平均数- 16 第三章 没有披露的数据- 21 第四章 毫无意义的工作- 29 第五章 惊人的统计图形- 33 第六章 平面图形 - 37 第七章 不相匹配的资料- 42 第八章 相关关系与因果关系 - 48 第九章 如何进行统计操纵- 54 第十章 对统计资料提出的五个问题- 65
绪言 我岳父刚从爱荷华州到加利福尼亚州便对我说：“你们这儿治安不好。”在他所阅读的报 纸中的确是这样描述的。但是，这种报纸以不轻易忽略当地发生的任何犯罪行为，并且以对于 爱荷华州发生的谋杀案用比爱荷华州本地的主要报纸更多的笔墨进行大肆渲染而闻名。 我居父得出的这个结论是一个建立在明品有偏样本基础之上的贿音的统计结论。类似干甘 他某些更为精致的统计结论，它也存在着证据与结果不匹配的问题。它假定报纸专栏中对犯罪 行为的报道是测量犯罪率的工具。 几年前，十来个调查人员分别独立地发表了关于抗组织胺药物的数据。所有的数据都证明， 在经过抗组织胺药物治疗后相当大比例的感冒能够治愈。这引起了传媒的大肆宜传，至少在广 告中也是如此，并兴起了药物生产的热潮，这是因为人们长期以来对药物具有强烈的需求。但 奇怪的是，人们拒绝越过统计去注意一下早就了解的事实 一位幽默的非医学权威人士， 亨利·G·菲尔森(Henry G.Felsen)所指出的那样，服用上述药物的确能在 星期内治愈 感冒，但人们却忽略了另一个事实一一即使不服用上述药物，一般而言，感冒也能在七天内痊 愈。 分终。致。虽然经验诉我们眼见为实 你所见所闻的许多东西也和上面的事例一样。平均数、作用关系、趋势和图表与看上去的 并不 但眼睛告诉我们的也许隐瞒了或者夸大了 统计这种神秘的语言，在一个用事实说话的社会里是如此的吸引人，但有时它却被利用并 成为耸人听闻、恶意夸大或简化事实、迷惑他人的工具。在报告社会经济趋势、商业状况、民 意测验和普查的大量数据时，统计方法或者统计术语是必不可少的。但如果作者不能正确理解 并恰当地使用这些统计语言， 而读者又并不能真正懂得这些术语的含义，那么，统计结果只能 是一堆废话。 在通常的科学写作中充斥着被溢用的统计数据，以至于人们很难想到这些统计数据的背后 有一个“白衣侠客”在昏暗的灯光下没日没夜地工作，就像一小撮药粉、一小瓶颜料，统计把 一些重要的事实弄得似是而非。巧妙伪装的统计资料胜过希特勒的弥天大谎，虽然它也会引起 -5
- 5 - 绪言 我岳父刚从爱荷华州到加利福尼亚州便对我说：“你们这儿治安不好。”在他所阅读的报 纸中的确是这样描述的。但是，这种报纸以不轻易忽略当地发生的任何犯罪行为，并且以对于 爱荷华州发生的谋杀案用比爱荷华州本地的主要报纸更多的笔墨进行大肆渲染而闻名。 我岳父得出的这个结论是一个建立在明显有偏样本基础之上的随意的统计结论。类似于其 他某些更为精致的统计结论，它也存在着证据与结果不匹配的问题。它假定报纸专栏中对犯罪 行为的报道是测量犯罪率的工具。 几年前，十来个调查人员分别独立地发表了关于抗组织胺药物的数据。所有的数据都证明， 在经过抗组织胺药物治疗后相当大比例的感冒能够治愈。这引起了传媒的大肆宣传，至少在广 告中也是如此，并兴起了药物生产的热潮，这是因为人们长期以来对药物具有强烈的需求。但 奇怪的是，人们拒绝越过统计去注意一下早就了解的事实。正如一位幽默的非医学权威人士， 亨利·G·菲尔森(Henry G. Felsen)所指出的那样，服用上述药物的确能在一个星期内治愈 感冒，但人们却忽略了另一个事实——即使不服用上述药物，一般而言，感冒也能在七天内痊 愈。 你所见所闻的许多东西也和上面的事例一样。平均数、作用关系、趋势和图表与看上去的 并不总是一致。虽然经验告诉我们“眼见为实”，但眼睛告诉我们的也许隐瞒了或者夸大了一 部分事实。 统计这种神秘的语言，在一个用事实说话的社会里是如此的吸引人，但有时它却被利用并 成为耸人听闻、恶意夸大或简化事实、迷惑他人的工具。在报告社会经济趋势、商业状况、民 意测验和普查的大量数据时，统计方法或者统计术语是必不可少的。但如果作者不能正确理解 并恰当地使用这些统计语言，而读者又并不能真正懂得这些术语的含义，那么，统计结果只能 是一堆废话。 在通常的科学写作中充斥着被滥用的统计数据，以至于人们很难想到这些统计数据的背后 有一个“白衣侠客”在昏暗的灯光下没日没夜地工作，就像一小撮药粉、一小瓶颜料，统计把 一些重要的事实弄得似是而非。巧妙伪装的统计资料胜过希特勒的弥天大谎，虽然它也会引起
人们的误解，却不会因此受到指责。 本书是一本如何利用统计以达到瞒天过海目的的入门读物。看上去，它很像骗子的行骗指 南。但或许我可以模仿一个已退休的窃 在加何不 鬼不觉地撬开一把锁的方面 的回忆录达到了研究生课程的水 替这本书说句公道话：毕竟，骗子早就掌握了行骗的技 巧，而诚实的人出于自卫也应该学会它。 6
- 6 - 人们的误解，却不会因此受到指责。 本书是一本如何利用统计以达到瞒天过海目的的入门读物。看上去，它很像骗子的行骗指 南。但或许我可以模仿一个已退休的窃贼——在如何神不知、鬼不觉地撬开一把锁的方面，他 的回忆录达到了研究生课程的水平——替这本书说句公道话：毕竟，骗子早就掌握了行骗的技 巧，而诚实的人出于自卫也应该学会它
第一章 内在有偏的样本 -7
- 7 - 第一章 内在有偏的样本
“1924级的耶鲁毕业生平均年收入有25111美元。”《时代》(Time)杂志在评论纽约《太 阳报》(sun)的某篇报道时曾经指出。 哇，他们干得真不赖 可是，等一等，这个令人印象深刻的数据到底意味着什么？是否像表面看到的那样，足以 证明如果你把你的孩子送进耶鲁大学，那么在老年时你就不用辛苦地上班，甚至他年老时也不 用上班？ 在充满怀疑的惊鸿一瞥后，我们发现这个数据的两点可疑之处：它惊人地精确：它大得令 人难以置信。 任何一群分布很广的人其平均收入能精确到以元为单位都不太可能。就算是自己去年的收 入，除非全部来自薪水，否则也很难知道得如此准确。但对于年收人25000美元的阶层而言， 多种投资渠道使得收入不可能完全来自于薪水。 而且毫无疑问，这个可爱的平均数出自耶鲁人之口。即使1924年他们在纽哈芬(Nv Haven)接受过良好的教有，也很难保证四分之一个世纪后，他们还能坚持说真话。当问及收 入时，有些人出于虚荣或天生乐观而夸大数据：有些人却故意缩小数字，特别当涉及计征所得 税问题时，往往会犹豫不决，生怕与其他文件填报的数据不符，谁知道税务员又看到了什么？ 也许这两种趋势一一夸大与缩小将相互抵消，但这种可能性极小。一般而言。一种趋势总会强 于另一种趋势，但我们无从猜测哪种趋势较强。 0. 常识告诉我们单凭某一数据很难反映实情，这是我们得到的结论。那些实际收入也许只有 25111美元一半的人们最终会形成如此高的平均收入，最大的误差来源在哪儿？接下来，让 我们来揭开这神秘的面纱。 这是一个抽样过程。在你所遇到各种各样的课题中，大部分统计问恩的核心便是抽样。抽 样的原理本身很简单，但实践中对其进行的加工导致了许多副产品，有些是不正确的。举个例 子，如果你有一桶豆子，有红色、有白色.那么，红色的豆子到底有多少呢？解决的办法只有 一种：数豆子。然而，用一种更简单的方法，你也可以得到红豆数目的近似结果：抓一把豆子， 计算其中红豆的比例，这把豆子中红豆的比例与一桶的比例基本相同。只要样本足够大，并且 具有代表性，在多数情况下，样本的信息可以很好地代表总体。但如果条件不满足，抽样的结 果比 个臆想的结果好不到哪儿 「会形成 种 分科学精确的 虚假印象意外， 法分本不值得推荐。然而，令人悲伤的事实是，在我们看到的或自以为知道的事物中，充斥着 许多从类似的样本，即有偏的或过小的或两者都满足的样本中得出的结论。 耶鲁毕业生的收入也来自于样本。处于理智，我们可以很肯定地认为，没有人能够掌握所 有仍活若的1924级学生的情况，25年后，许多人已经地址不详。 -8
- 8 - “1924级的耶鲁毕业生平均年收入有25111美元。”《时代》(Time)杂志在评论纽约《太 阳报》(sun)的某篇报道时曾经指出。 哇，他们干得真不赖！ 可是，等一等，这个令人印象深刻的数据到底意味着什么？是否像表面看到的那样，足以 证明如果你把你的孩子送进耶鲁大学，那么在老年时你就不用辛苦地上班，甚至他年老时也不 用上班？ 在充满怀疑的惊鸿一瞥后，我们发现这个数据的两点可疑之处：它惊人地精确；它大得令 人难以置信。 任何一群分布很广的人其平均收入能精确到以元为单位都不太可能。就算是自己去年的收 入，除非全部来自薪水，否则也很难知道得如此准确。但对于年收人25000美元的阶层而言， 多种投资渠道使得收入不可能完全来自于薪水。 而且毫无疑问，这个可爱的平均数出自耶鲁人之口。即使1924年他们在纽哈芬(New Haven)接受过良好的教育，也很难保证四分之一个世纪后，他们还能坚持说真话。当问及收 入时，有些人出于虚荣或天生乐观而夸大数据；有些人却故意缩小数字，特别当涉及计征所得 税问题时，往往会犹豫不决，生怕与其他文件填报的数据不符，谁知道税务员又看到了什么？ 也许这两种趋势——夸大与缩小将相互抵消，但这种可能性极小。一般而言。一种趋势总会强 于另一种趋势，但我们无从猜测哪种趋势较强。 常识告诉我们单凭某一数据很难反映实情，这是我们得到的结论。那些实际收入也许只有 25111美元一半的人们最终会形成如此高的平均收入，最大的误差来源在哪儿？接下来，让 我们来揭开这神秘的面纱。 这是一个抽样过程。在你所遇到各种各样的课题中，大部分统计问题的核心便是抽样。抽 样的原理本身很简单．但实践中对其进行的加工导致了许多副产品，有些是不正确的。举个例 子，如果你有一桶豆子，有红色、有白色．那么，红色的豆子到底有多少呢？解决的办法只有 一种：数豆子。然而，用一种更简单的方法，你也可以得到红豆数目的近似结果：抓一把豆子， 计算其中红豆的比例，这把豆子中红豆的比例与一桶的比例基本相同。只要样本足够大，并且 具有代表性，在多数情况下，样本的信息可以很好地代表总体。但如果条件不满足，抽样的结 果比一个臆想的结果好不到哪儿去——除了会形成一种十分科学精确的虚假印象意外，这种方 法分本不值得推荐。然而，令人悲伤的事实是，在我们看到的或自以为知道的事物中，充斥着 许多从类似的样本，即有偏的或过小的或两者都满足的样本中得出的结论。 耶鲁毕业生的收入也来自于样本。处于理智，我们可以很肯定地认为，没有人能够掌握所 有仍活着的1924级学生的情况，25年后，许多人已经地址不详
并且，在能够取得联系的那些人中，许多人根本不会回答问卷，特别是一个内容涉及隐私 的问卷。一般的问卷，5%~10%的回收率己经是相当可观了。也许这个调查的回收率会高 些，但不可能达到100%。 因此，这个收入数据是建立在一个由能够取得联系并愿意回答问卷的耶鲁学生组成的样本 之上的。那么，这个样本具有代表性吗？也就是说，能否假设这个样本与样本未被包括的人具 有同样的收入水平？ 那些在耶鲁大学毕业生通讯录上被注明“地址不详”的迷路小羔羊是谁呢？他们是高收入 阶层吗？他们是华尔街的金融家、公司领导层，抑或是制造企业或公用事业的执行总裁？不， 富人的地址是不难找到的。这个班级最富有的人，即使忽略了与校友办公室联系，他们的地址 也可以通过查《美国名人录》(Who's who in America)或其他参考资料找到。因此，我们 可以较合理地猜测 那些被遗漏的人是获取耶鲁文学学士学位之后的25年来没能实现自己光 辉梦想的人，他们是小职员、技工、流浪者、失业的酒鬼、仅仅得以糊口的作家或艺术家. 六七个甚至更多这样的人将其收人相加才可能达到25111美元，他们不经常在班级的联谊会 上注册，仅仅因为他们支付不起路费。 我们是可价的建愧的小里旱 paa. a 9
- 9 - 并且，在能够取得联系的那些人中，许多人根本不会回答问卷，特别是一个内容涉及隐私 的问卷。一般的问卷，5%~10%的回收率已经是相当可观了。也许这个调查的回收率会高一 些，但不可能达到100%。 因此，这个收入数据是建立在一个由能够取得联系并愿意回答问卷的耶鲁学生组成的样本 之上的。那么，这个样本具有代表性吗？也就是说，能否假设这个样本与样本未被包括的人具 有同样的收入水平？ 那些在耶鲁大学毕业生通讯录上被注明“地址不详”的迷路小羔羊是谁呢？他们是高收入 阶层吗？他们是华尔街的金融家、公司领导层，抑或是制造企业或公用事业的执行总裁？不， 富人的地址是不难找到的。这个班级最富有的人，即使忽略了与校友办公室联系，他们的地址 也可以通过查《美国名人录》(Who’s Who in America)或其他参考资料找到。因此，我们 可以较合理地猜测，那些被遗漏的人是获取耶鲁文学学士学位之后的25年来没能实现自己光 辉梦想的人，他们是小职员、技工、流浪者、失业的酒鬼、仅仅得以糊口的作家或艺术家. 六七个甚至更多这样的人将其收人相加才可能达到25111 美元，他们不经常在班级的联谊会 上注册，仅仅因为他们支付不起路费
又是谁会将调查问卷丢进最近的废纸篓？我们不太肯定，但是猜想这种人中大部分都没有 赚到足以自夸的数目是合理的。这有些类似于第一次领取薪水的小职员，当他发现薪金条上粘 着一张建议对同事保密工资的数额并不要以此作为谈资的小纸条时的心态，“别担心，”他对 老板说， “我与你一样，对这么低的工资感到羞愧。 很明显，样本遗漏了对平均收入起降低作用的两种人。现在我们可以了解25111美元的 庐山真面目了，如果它是一个真实的数据，它也仅仅代表了1924级耶鲁学生中可以联系到的， 并愿意站出来说出所嫌数目的这个特殊群体。当然，它的真实性还建立在这样一个假定基础之 上 一这些绅士说的都是真话。 是否能过于轻率地做出这样的假定呢？来自抽样理论的一个分支，即市场研究的经验告诉 我们，人们会说真话的假定往往是不可靠的。以前曾经搞过一项旨在了解杂志阅读量的上门调 查，其中的一个主要问题是：你和你的家人阅读什么杂志？当将调查结果制表并分析后发现 份。 调查的设计者所疑惑的，或许他们问错了对象？但这不可能， 因为 上门调查走讨 美国各式各样的居民这。惟合理的解样是许多被调查者设有说实话，导致调查结果偏离7 事实。 最后你将发现，当你想了解人们到底在读什么时，询问是无济于事的。直接上门收购旧杂 志看看他们能提供什么或许能得到更多的信息。 你所要做的就是点 点《耶鲁评论》(Yale Reviews)和《爱情罗曼史》(Love Romances)各自的份数。即便是这种方法也并不确定， 它只能说明人们曾经有过什么，而不是现在有什么。 同样，当你下次在阅读时看到普通美国人（这个词最近频繁出现，但大多数情况下是不现 实的)每天刷牙1.02次 这个数据是我瞎编的，但它与其他任何数据一样有用 个问面.任何一个人么可能发而这个？ 个妇女在看了无数宜传不刷牙者是对社会冒 犯的广告之后还会向陌生人承认自己不经常刷牙吗？这个统计数据只能对那些关心人们如何 谈论刷牙的人才有价值，却根本不能反映牙齿接触牙刷的频率。 我们知道，一条河永远不可能高于它的源头。但如果在河的某处藏有水电站，却可以做到。 同理，对样本研究后得到的结论不会好于样本本身。当数据经过层层统计处理，最后简化成 个小数形式的平均数时，结论似乎被确定的光环所笼罩，但只要再仔细留心整个抽样过程，这 个光环就会破灭。 我正在牙 -10
- 10 - 又是谁会将调查问卷丢进最近的废纸篓？我们不太肯定，但是猜想这种人中大部分都没有 赚到足以自夸的数目是合理的。这有些类似于第一次领取薪水的小职员，当他发现薪金条上粘 着一张建议对同事保密工资的数额并不要以此作为谈资的小纸条时的心态，“别担心，”他对 老板说，“我与你一样，对这么低的工资感到羞愧。” 很明显，样本遗漏了对平均收入起降低作用的两种人。现在我们可以了解25111美元的 庐山真面目了，如果它是一个真实的数据，它也仅仅代表了1924 级耶鲁学生中可以联系到的， 并愿意站出来说出所赚数目的这个特殊群体。当然，它的真实性还建立在这样一个假定基础之 上——这些绅士说的都是真话。 是否能过于轻率地做出这样的假定呢？来自抽样理论的一个分支，即市场研究的经验告诉 我们，人们会说真话的假定往往是不可靠的。以前曾经搞过一项旨在了解杂志阅读量的上门调 查，其中的一个主要问题是：你和你的家人阅读什么杂志？当将调查结果制表并分析后发现： 大部分的人喜欢《琴师》(Harper’s)，而没有多少人喜欢《真实故事》(True Story)。但出 版商提供的数据却很明显地表明：《真实故事》的发行量是几百万份，而《琴师》只有几十万 份。正如这项调查的设计者所疑惑的，或许他们问错了对象？但这不可能，因为上门调查走访 了美国各式各样的居民区。惟一合理的解释是许多被调查者没有说实话，导致调查结果偏离了 事实。 最后你将发现，当你想了解人们到底在读什么时，询问是无济于事的。直接上门收购旧杂 志看看他们能提供什么或许能得到更多的信息。你所要做的就是点一点《耶鲁评论》(Yale Reviews)和《爱情罗曼史》(Love Romances)各自的份数。即便是这种方法也并不确定， 它只能说明人们曾经有过什么，而不是现在有什么。 同样，当你下次在阅读时看到普通美国人（这个词最近频繁出现，但大多数情况下是不现 实的）每天刷牙1.02次——这个数据是我瞎编的，但它与其他任何数据一样有用——请自问 一个问题：任何一个人怎么可能发现这个事实？一个妇女在看了无数宣传不刷牙者是对社会冒 犯的广告之后还会向陌生人承认自己不经常刷牙吗？这个统计数据只能对那些关心人们如何 谈论刷牙的人才有价值，却根本不能反映牙齿接触牙刷的频率。 我们知道，一条河永远不可能高于它的源头。但如果在河的某处藏有水电站，却可以做到。 同理，对样本研究后得到的结论不会好于样本本身。当数据经过层层统计处理，最后简化成一 个小数形式的平均数时，结论似乎被确定的光环所笼罩，但只要再仔细留心整个抽样过程，这 个光环就会破灭