《统计数字会撒谎》

下载本书

添加书签

统计数字会撒谎- 第2部分


按键盘上方向键 ← 或 → 可快速上下翻页,按键盘上的 Enter 键可回到本书目录页,按键盘上方向键 ↑ 可回到本页顶部!
  统计这种神秘的语言,在一个靠事实说话的社会里是如此地吸引眼球,但有时它却被人利用,并成为恶意夸大或简化事实、迷惑他人的工具。在报告社会经济趋势、商业状况、民意调查和普查的大量数据时,统计方法或者统计术语是必不可少的。但如果作者不能正确理解并恰当地使用这些统计语言,而读者又并不能真正了解这些术语的含义,那么,统计结果只能是废话一堆。
  在科能技主题的文章中,经常充斥着滥用统计资料的现象,每一个数据都很有力地打消你的疑虑,都张着嘴告诉你这是对的,但是人们很难联想到这样一种场景:灯光如豆的实验室中,“白衣英雄们”仍在不计报酬、不辞辛劳地包装这些数据。统计,就像最神奇的化妆术,只要略施粉黛,东施尤胜西施。巧妙伪装的统计资料胜过希特勒的弥天大谎,虽然它也会引起人们的误解,但制造它的人却能巧妙脱身。
  这本书是一本如何利用统计瞒天过海的入门读物。看上去,它很像骗子的行骗宝典。但或许我可以模仿一个已退休的窃贼——如何神不知、鬼不觉地撬开一把锁,他的###达到了研究生课程的水平——替这本书说句公道话:毕竟,骗子对于行骗的技巧早已胸有成竹,而诚实的人出于自卫也应该掌握它。
  书包 网 。 想看书来

内在有偏的样本(1)
第一章 内在有偏的样本
  有一个装着红、白两色豆子的桶,如果你想要准确知道这个桶中两种豆子的数量,你惟一能做的只有一颗一颗地数豆子。
  用一种更简单的方法也可以揣测红豆的数量:抓一把豆子,假定手中红豆的比例与桶中红豆的比例相同,只要数一数手中的豆子即可。如果你的样本足够大,并且选择方法正确,在大多数情况下它能够很好地代表整体。但是,如果以上两个条件不满足,这样的样本比一个臆想好不到哪儿去,除了能够营造科学精确的假象之外,其他则根本不值一提。不幸的是,我们所看到的,或者我们自以为了解的许多事物,往往都是根据类似样本所得出的结论,这种样本可能变得有偏,由于选择方式的不合理或者容量过小,抑或两种情况同时存在。
  通过一个极端的例子可以马上看到如何形成有偏的样本。假设你向同胞发放问卷,问卷中包含这样一个问题:“你乐意回答调查问卷吗?”整理所有的答案,你很有可能得到下面的结论:“一个选自总体、典型的横截面”中,压倒多数的人选择了“乐意”。为了具有说服力,你还可以详细列出这个比例,直至最后一位小数。事实上,大多数持否定意见的人,已经随手将你的问卷丢进最近的纸篓中,从样本中自动除名了。哪怕最初的样本中,10个里面有9个会当这种“投手”,在宣布你的结果时,你仍然会遵从惯例,忽略他们。
  现实生活中,样本会按照上述方式变得有偏吗?相信我,一定会。
  不久前,报纸和新闻杂志上报道:近10年来美国大约有400万名天主教徒变成了基督教徒。资料来源于由丹尼尔?A。 波林(Daniel A。 Poling)牧师主导的调查,丹尼尔?A?波林是教派组织《基督教先驱报》(Christian Herald)的编辑。《时代》(Time)杂志描述了整个故事的梗概:
  “通过对全美基督教牧师的横截面展开调查,《先驱报》得到了调查结果。调查共发出25000份问卷,其中2219名牧师反馈回了问卷,回收的问卷显示:在过去10年里共有51361名原罗马天主教徒变成了基督教徒。根据样本推算,波林得到了全国范围的估计:近10年来全美共有4144366名天主教徒改变信仰,变成了基督教徒。主教威尔?奥斯勒(Will Oursler)写道:‘即便考虑到误差,全美范围内这一数据也不可能少于200万或者300万,而且很有可能接近500万。’”
  虽然《时代》没能指出真相的关键之处,但是它却使我们了解到被调查的牧师中超过90%的人没有回答,这已经值得我们向它鞠躬表示敬意了。为了彻底破坏调查结果的可信度,我们只需要指出:这个“500万”是不可靠的,因为调查中有高达90%的牧师没有发表看法,或许他们中大多数都早已将调查问卷投进了纸篓。
  根据以上判断,我们利用管辖范围内所有牧师人数,即181000人——该数据就是波林博士计算时所采用的数据——进行自己的推算。由于从181000名牧师中抽取了25000人接受调查,得到了改变信仰的教徒为51361人,如果调查全部牧师,转变信仰的总人数应该约为370000人。
  我们这种粗糙的方法产生了一个十分可疑的数据,但是它至少与那个在全国范围发布的数据一样“可靠”,而后者却是前者的11倍,是的,300万看上去更加令人欢欣鼓舞些。

内在有偏的样本(2)
至于奥斯勒先生充满自信的那句话“考虑到误差”,好吧,如果他发现了一种方法足以弥补未知量所带来的误差,那么整个统计界都将会为之感激涕零。
  在上述背景下,让我们来研究一则以前的新闻报道:“1924级的耶鲁毕业生平均年收入为25111美元”,要知道几年前的钱是更值钱的。
  好家伙,他们干得真不赖!
  可是,等一等,这个令人印象深刻的数字到底意味着什么?是否像表面看到的那样,足以证明如果你把你的男孩送进耶鲁大学,或者牛津大学,那么在年老时,你就不需要辛苦地上班,甚至他将来年老时也不用上班?
  在充满怀疑的惊鸿一瞥后,关于该数字的两个疑点凸现出来:它惊人的精确;它大得令人难以置信。
  对一群相隔千山万水的人,了解他们的平均收入,而且竟然精确到以元为单位,这几乎不太可能。就算是自己去年的收入,除非全部来自薪水,否则也很难知道得如此准确。但是对于年收入25000美元的阶层来说,投资渠道更广,因此他们的收入不可能完全来自于薪水。
  而且毫无疑问,这个可爱的平均数出自耶鲁人之口。即使1924年他们在纽海文译者注:纽海文是美国东北部康涅狄格州的一个城市,耶鲁大学就坐落在这个城市。接受过优良的教育,也很难保证四分之一个世纪后,他们还能坚持说真话。当问及收入时,有些人出于虚荣或者天生乐观而夸大数据;有些人却故意缩小数字,特别当涉及征所得税问题时,往往会犹豫不决,生怕与其他文件填报的数据不符,谁知道税务员又看到了什么?这两种趋势——夸大与缩小,也许将相互抵消,但这种可能性很小。一般而言,一种趋势总会强于另一种,但我们很难猜测哪种趋势将胜出。
  我们试着来解释这个数字,单凭常识就知道这个数字与现实出入很大。现在,让我们找找最大误差的可能来源。是什么使那些实际上收入也许只有25111美元一半的人们最终会拥有如此丰厚的平均收入?让我们来揭开这神秘的面纱。
  可以肯定的是:耶鲁毕业生的报道基于对某个样本的分析,因为常识告诉我们,没有人能够掌握所有仍在世的1924级学生的情况,25年后,他们中的许多人已经消失在茫茫人海中。
  并且,在那些能够取得联系的人中,许多人根本不会回答问卷,特别是一个涉及###的问卷。一般情况下,邮寄问卷的回收率达到5%~10%就已经相当可观了。也许这个调查的回收率会高些,但也不可能达到100%。
  因此,这个收入数据建立在一个样本之上:由能够取得联系并愿意回答问卷的耶鲁学生组成。那么,这个样本的代表性强吗?也就是说,能否假设样本与未被样本包括的那些人——无法联系的人或者不愿意回答的人——具有同等的收入水平?
  那些在耶鲁大学毕业生通讯录上被注明“地址不详”的迷路小羊羔是谁呢?他们是高收入阶层吗?华尔街的金融家、公司领导层,亦或是制造企业或公用事业的总裁?不,要找到富人的地址根本不难。这个班级最显赫的人,即使忽略了与校友办公室联系,他们的地址也可以通过查《美国名人录》(Whos Who in America)或其他参考资料找到。因此,我们可以较合理地推测,那些被遗漏的人在获取耶鲁文学学士以后的25年间,他们没能实现自己光辉梦想,他们是小职员、技工、流浪汉、失业的酒鬼、仅仅得以糊口的作家或艺术家……将六七个甚至更多这种人的收入相加才可能达到25111美元。他们不会在班级的联谊会上注册,仅仅是因为他们支付不起路费。 txt小说上传分享

内在有偏的样本(3)
又是谁会将调查问卷丢进最近的废纸篓?我们不太肯定,但是猜想他们中大部分人并没有赚到足以炫耀的数目。他们的心态有些类似于第一次拿到工资的小职员,当他发现工资支票上粘着一张小纸条,建议保密工资并不要将工资作为与同事的谈资时,“别担心,”他对老板说,“我与你一样,对这么低的工资感到羞愧。”
  很明显,样本遗漏了可能降低平均收入的两类人。让我们见识一下25111美元的庐山真面目:如果它是一个真实的数据,它也仅仅代表了1924级耶鲁学生中能够联系上的,并愿意站出来说出收入的一个特殊群体。当然,它的真实性还需要满足这个假定:这些绅士们说的都是真话。
  我们能否过于轻率地做出这样的假定呢?来自抽样理论的一个分支,即市场研究的经验告诉我们,人们会说真话的假定往往是不可靠的。以前曾经做过一项了解杂志读者阅读量的上门调查,其中的一个主要问题是:“你和你的家人阅读什么杂志?”当将调查结果制表并分析后发现:喜欢《哈泼斯》(Harper’s)杂志的人相当多,这本杂志如果不能说是曲高和寡,但至少也是品位不俗;而喜欢《真实故事》(True Story)——一本定位大众化杂志的人就不多了。但是几乎同时期的、由出版商提供的数据很明显地显示出相反的结果:《哈泼斯》杂志的发行量只有几十万份,而《真实故事》杂志的发行量却多出了百万份。正如这项调查的设计者所疑惑的,也许他们问错了对象,但这又并不可能,因为上门调查走访了美国范围内各式各样的居民区。惟一合理的解释是许多被调查者,即那些调查中回答问题的人没有说实话,几乎所有的调查都无法阻止人们往自己脸上贴金的做法。
  最后你将发现,当你想知道到底什么人在读某本杂志时,询问是无济于事的。直接上门去告诉他们你想收购旧杂志好了,看看他们能提供什么,这样你才能掌握更多的信息。你只需要清点一下《耶鲁评论》(Yale Reviews)和《爱情罗曼史》(Love Romances)各自的份数就够了。当然,即便采用这种方法也只能说明人们曾经买了什么,而不能确定人们读过些什么。
  同样,当你下次看到普通美国人(最近,这个词频繁出现,但大多数情况下却是不现实的)每天刷牙次时,虽然这个数据是我瞎编的,但它与别人的数据一样好用。请问自己一个问题:不管是谁,他怎样才能发现这个事实呢?在看了铺天盖地的、宣传不刷牙是对社会冒犯的广告之后,一名妇女还会向陌生人承认自己不经常刷牙吗?这个统计资料只能对那些希望了解人们如何看待刷牙的人才有价值,却根本不能反映牙刷接触牙齿的频率。
  我们知道,除非在某处安装了泵站,否则一条河流永远不可能高于它的源头。同样的,根据样本得到的结论不会比样本更精确。当数据经过层层统计处理,最后简化为一个带小数点的平均数时,结论似乎闪耀着精确的光芒,但只要再仔细留心整个抽样过程,这个光芒就会消逝。
  为了确保结论有价值,根据抽样得出的结论一定要采用具有代表性的样本,这种样本才能排除各种误差。这就是耶鲁的收入数据失真的原因,它也是你在报纸和杂志中读到的许多资料根本不值一提的原因。

内在有偏的样本(4)
一位心理医生曾经写道:实际上每个人都有点神经质。暂且不去管这种提法是否破坏了“神经质”一词的含义,我们来看看这个医生的样本,也就是说,他观察了哪些人才得到了上述结论?事实上,他是在对他的病人进行研究后才得到了这个发人深省的结论,这和代表全体人的样本可差的是十万八千里。想想看,如果一个人心理健全,他是永远都不会接受心理医生的治疗的。
  对你所读到的东西多思考一下,你将避免接受许多似是而非的结论。
  记住下面这点是有益的:无形的误差与有形的误差一样容易破坏样本的可信度。也就是说,即使你找不到任何破坏性的误差来源,但只要有产生误差的可能性,你就有必要对结果保留一定的怀疑。事实上误差总是存在,如果你仍旧半信半疑,想想1948年和1952年的美国总统大选,它们已足够证明这一点。(1948年美国选举时,所有民调都显示###党的杜威会获胜,结果却是杜威败给了共和党人杜鲁门,这是美国历史上至今最大的“选举惊奇”。1952年美国大选,新闻传媒普遍看好###党竞选人史蒂文森,最终共和党候选人艾森豪威尔以绝对优势赢得这场选举。)
  更远的例子可以追溯到著名的《文学文摘》(Literary Digest)的惨败,这件事发生在1936年。曾经准确预测了1932年美国大选的1000万个电话用户和《文学文摘》订户,他们又对1936年的大选结果进行了预测,他们向那个倒霉的杂志编辑信誓旦旦地保证:兰登(Landon)将在竞选中脱颖而出,并且与罗斯福(Roosevelt)的所得票数之比为370∶161。这样一个久经考验的调查群体怎么可能产生误差呢?但的确有误差,正如后来许多大学论文和其他史学分析人员所发现的,1936年就有能力购买电话和订阅杂志的人并不能代表所有的选民,至少在经济上,他们是一个极特殊的群体,是有偏的,后来证实他们中的许多人是共和党的选民。该样本选择了兰登,而全国选民却心系罗斯福。
  最基本的样本是随机样本,它是指完全遵循随机原则从总体中选出的样本。总体即形成样本的母体。把索引卡片文件夹中每隔10个的名字抽出来,从许多纸张中任意抽出50张,在皮卡迪利大街译者注:皮卡迪利大街是英国伦敦市一条繁华的街道。每遇见的第20个人作为访问对象。(但需要注意的是,在最后一个例子中,总体并不是全世界的人,也不是全体英国人或者所有旧金山人,而只是当时在皮卡迪利大街上的人。一个进行民意调查的访问员宣称,她选择在火车站进行调查的原因是“在那里能遇到所有类型的人。”不过,不得不向她指出的是,某些人比如婴儿母亲的代表性并不足。)
  随机样本的检验方法是:总体中的每个名字或每个事物是否具有相同的几率被选进样本?纯随机样本是惟一有足够把握经受统计理论审查的样本。但它也有不足之处,在很多情况下,获得这种样本的难度很大并且十分昂贵,以至于单纯考虑成本就会排除它。分层随机抽样是一个更经济的替代品,目前在民意调查和市场研究等领域中得到了广泛的应用。
  为了获得分层抽样下的随机样本,你需要将总体按照事先已知的优势比例划分出不同的组。这时你就可能遇上麻烦:关于分组比例的信息可能并不正确。你对访问员进行指导,以确保他们调查到一定数量的黑人,按
小提示:按 回车 [Enter] 键 返回书目,按 ← 键 返回上一页, 按 → 键 进入下一页。 赞一下 添加书签加入书架