信号与噪声：大数据时代预测的科学与艺术

　　《信号与噪声》中涉及如下有趣又值得研究的问题：天气预报说降水概率为60%，你出门会带伞吗？被雷电击中的概率到底有多大？地震发生之前，我们真的无法预测吗？中情局为什么会忽略“9.11”恐怖袭击发生的信号？禽流感为何会突然爆发，又突然消失？为什么大数据时代的预测更容易失败？ “信号”是我们想要和需要的事实，比如能帮助我们侦破早期鞋子炸弹案的信号。“噪声”则是另一回事，通常是不相干的信息，它阻碍或误导我们搜索信号。人类每时每刻都需要对未来进行预测并制定相应的策略，如此国家、企业乃至个体才能持续发展，因此我们对于“下一刻会发生什么”倍加关注。在信息爆炸的大数据时代，随着我们的生活节奏变得越来越快，我们所要做出的预测的速度和数量都在不断增加。一个不容忽视的事实是，现实世界中的很多预测都失败了，由此付出了巨大的社会代价。“9.11”恐怖袭击事件、2008年金融危机、卡特里娜飓风、2011年日本大地震、禽流感肆虐，这些“黑天鹅”事件的发生在很大程度上应归咎于糟糕的预测，也就是说预测者们被众多信息中的噪声干扰，而忽视了其中真正的信号。作者最为美国最具影响力的预测专家之一，检视了从飓风到地震、从经济到股市、从NBA到政治选举在内的众多领域的预测事例，旨在回答一个问题：如何才能从繁杂的海量数据中筛选出真正的信号，摒弃噪声的干扰，从而做出接近真相的预测。真正优秀的预测者会用概率的方法思考问题，他们谦虚而且勤恳，他们能清楚地区分什么是不可预测的、什么是可预测的，他们注重能带领他们接近真相的成千上百个小细节，他们能辨识出什么是噪声、什么是信号。从全球经济的健康到战胜恐怖主义，都依靠预测的质量。《信号与噪声》可以给你想要的答案。

　　纳特·西尔弗，统计学家、作家和《纽约时报》政治性网站538.com的创始人。2008年美国大选期间他成功预测出49个州的选举结果，2012年大选期间更是成功预测出全部50个州的选举结果，被称为“神奇小子”。2009年，《时代》周刊将他评选为全球100位最具影响力的人物之一。

引 言 XIII 第一章 预测失败的灾难性后果 001
一场错误预测引发的悲剧 001
他们只是不想让“音乐”停下来罢了 004
评级机构为什么会犯下致命的错误？ 007
第一幕：房地产泡沫 011
第二幕：负债经营 014
幕间休息：从贪婪到恐惧 017
第三幕：这次还是犯了同样的错误 019
失败的预测都是非样本预测 022
失败预测的公式——非样本，无思考 024
前事不忘，后事之师 025 第二章 政治选举预测：狐狸和刺猬，谁更聪明？ 027
政治学家是名副其实还是徒有虚名? 030
狐狸型专家：善于变通，更善于做出准确的预测 032
刺猬型专家更适合做电视节目嘉宾 034
政治预测为什么常常失败？ 035
狐狸型预测方法 038
原则一：用概率的方法思考问题 040
原则二：今天的预测是你以后人生的第一个预测 043
原则三：寻求共识 044
定性信息与定量信息同等重要 046
做出客观的预测并非易事 049 第三章 棒球比赛预测：球探和数据怪才，谁更胜一筹？ 051
构建棒球比赛的预测系统 053
全世界最丰富的统计数据库 055
老化曲线与相似分数 056
球探与数据怪才的矛盾冲突 062
系统与球探的对决：球探赢了 063
球探和数据怪才的偏见 066
生理指标与心理指标 069
信息是决定预测成败的关键 074
并不是信息越多，预测就越成功 076
《点球成金》的真正意义 079 第四章 天气预测：蝴蝶扇动翅膀，有可能引起龙卷风 083
我们真能准确地预测天气吗？ 085
气象预报简史 086
用矩阵来预测天气 088
混沌理论与蝴蝶效应 092
视觉化预测与抽象化预测 094
被雷电击中的概率越来越小了 098
什么样的预测才算是好预测？ 101
商业竞争如何使预测变得更糟糕？ 103
天气预报说降水概率为60%，你出门会带伞吗？ 106
尽可能地做出准确预测 110 第五章 地震预测：一个困惑了人类1 000 年的难题 115
地震可以预测吗？ 116
“圣杯”根本就不存在 118
我们对于地震的了解 121
究竟是信号还是噪声？ 125
那些以失败收场的地震预测 128
过度拟合模型：将噪声误认为信号 133
2011 年日本大地震引发的思考 137
地震震级的上限是多少？ 141
被审判的预测科学 142 第六章 经济预测： 经济学家为什么没有预测到2008 年经济危机？ 145
不可忽视预测中的不确定性 146
经济学家都是理性的吗？ 148
相关的两个经济变量未必互为因果 152
变化莫测的经济 156
经济数据中充满噪声 160
经济是一个动态系统，不是一个方程式 161
经济预测中不可避免地会存在偏见 164
克服预测偏见的两种选择 166 第七章 传染性疾病预测：禽流感为何会突然爆发，又突然消失？ 171
人们又一次高估了H1N1 的致命率 175
外推法的危害——艾滋病感染人数被低估了一半 178
为什么2009 年的流感预测会失败？ 179
自我实现预测与自我否定预测 182
预测模型越简单越好，还是越复杂越好？ 185
所有的预测都失败了 189
预测是为了让损失最小化 193 第八章 贝叶斯定理：只有正确的预测才能让我们更接近真相 195
成功的赌客是如何思考问题的？ 200
贝叶斯留下的宝贵遗产 203
概率、预测与科学进步 205
简单的运算推导出重大的预测 206
为什么大数据时代的预测更容易失败？ 211
当统计数据偏离了贝叶斯定理 213
成功践行贝叶斯定理的体育赌客 216
通往真理的贝叶斯之路 218 第九章 国际象棋大战：计算机与人类的智能博弈 221
国际象棋的人机大战 223
国际象棋比赛预测和启发法 225
开局阶段：独立思考能力更重要 227
中局阶段：宽度与深度的两难选择 229
残局阶段：计算机能力方面的较量 233
计算机战胜了人类 236
国际象棋大师为何败给了“深蓝”计算机？ 240
计算机擅长做什么？ 245
用试错法提高计算机的预测能力 246
克服人类的技术盲点 248 第十章 扑克牌游戏：如何从1 326 种组合中猜出对手的底牌？ 251
是心理游戏，也是数学游戏 252
出色的扑克牌玩家如何读出对手的牌？ 254
是弃牌还是跟注，如何选择？ 257
虚张声势，让对手猜不出你的底牌 265
学习曲线与二八原则亦适用于预测领域 267
扑克牌经济的繁荣 270
扑克牌经济泡沫的破灭 274
既靠运气也拼技能 275
我们对于扑克牌游戏的妄想 278
以过程而不是结果为导向 281 第十一章 股票市场：非理性交易者的存在让价格泡沫不可避免 283
贝叶斯定理世界中的价码牌 284
预测市场中的“无形的手” 286
群体预测往往优于个体预测 288
有效市场假说理论的缘起 290
过去的表现不代表未来的结果 292
技术分析法并不能预测股市 293
有效市场假说的3 种形式 294
追涨杀跌的股市投资策略真能获利吗？ 296
当有效市场假说遇到非理性繁荣 298
羊群效应催生股市泡沫 305
过度自信的投资者逃不开“赢家的诅咒” 311
股市泡沫需要很长时间才能被挤出 312
有时，价格的确是错误的！ 313
金融市场中的噪声 314
直觉判断让投资者深陷“高买低卖”的误区 316
有没有可能预测到市场泡沫的出现？ 319 第十二章 温室效应：未来10 年，全球气温会上升还是下降？ 323
温室效应真会导致全球气温变暖吗？ 324
温室效应假说的3 种怀疑论 328
对“全球气温会持续升高”预测的批判 331
达成共识的预测结果 333
不能把所有鸡蛋都放在一个篮子里 335
气候科学不是“火箭科学” 336
模型越复杂，预测越糟糕 338
气候预测中的3 类不确定性 339
评判气候预测准确性的时刻到了 343
“全球变冷”事件的教训 347
正确的预测绝对离不开科学的方法 349
气温变化趋势的真相 351
政治与科学的针锋相对 355 第十三章 恐怖主义： 比“9?11”更严重的恐怖袭击事件会发生吗？ 359
信号无处不在 360
你不知道的不代表不会发生 365
“9?11”恐怖袭击事件是“已知的未知”？ 366
用数学的方法研究恐怖主义 371
用统计学的方法测量恐怖主义 374
9 级恐怖袭击很可能会发生 378
为什么恐怖分子不去炸购物中心？ 384
如何辨识恐怖袭击的信号？ 386 结束语 389
致 谢 397