《信号与噪声》(The Signal and the Noise: Why So Many Predictions Fail – but Some Don't)由 Nate Silver 写于 2012 年,由 Free Press 出版。Silver 是数据科学家和 FiveThirtyEight 网站的创始人,在 2008 年和 2012 年两次美国总统大选中,靠纯数据模型近乎完美地预测了结果。2012 年那次,他连各州胜负都逐一预测对了,这件事把贝叶斯思维和概率化预测带进了大众视野。
这本书的核心命题是,世界上绝大多数预测都错了,根本原因在于预测者把噪声当成了信号。
信号和噪声
"信号"是有用的、真实的规律;"噪声"是无用的、随机的干扰。好的预测要在噪声里识别出尽可能多的信号,并且诚实地标注出不确定性,完全准确从来不是目标。
天气预报能给出"降水概率 70%",地震预测大多只敢输出"会发生"或"不会发生"。后者看似果断,其实是拒绝承认不确定性,本质上比前者更不靠谱。天气预报之所以准,是因为气象学早就接受了"预测应该是一个概率范围"这个前提。
1984 年大选的集体误判
书里最扎心的例子是 1984 年美国总统大选。当年 10 月 22 日,所有主流民调机构把里根对蒙代尔的领先优势测为 27.2%,一个惊人数字。但里根实际赢得的普选票领先优势只有 18.3%。所有机构同时把差距测大了,整整差了将近 9 个百分点。
这是民调方法里的系统性偏差造成的,样本构成、应答率、政治敏感问题下的社会期望偏差,各种因素叠加在一起。数据越多、机构越多,不代表结果越准。底层模型错了,一堆错误会整齐地一起错。
Silver 用这个例子说明,预测的真伪不在"你看起来有多数据驱动",而在"你用的模型对不对"。用错的模型,数据量越大,错的越整齐。
贝叶斯更新
贯穿全书的方法论骨架是贝叶斯更新。面对新证据,应该修正自己已有的判断,而不是完全推翻或者完全忽视旧判断。
这个思路的价值在于,它承认人本来就有一个先验判断,这个判断可能是错的,也可能不是完全错的。新的证据来了,不应该把先验判断当成废纸扔了,而应该根据证据的强度,把先验判断往新证据的方向适度修正。修多少,有明确的数学公式。
贝叶斯思维在书里不是装饰,是主线。它解释了好预测者和坏预测者的根本差别。好预测者把每一个新信息都当成一次修正,坏预测者要么固守先验、无视证据,要么被每一个最新信息带偏。
和《噪声》放在一起看
Kahneman 的《噪声》讲的是同一问题上不同判断的离散度,人为什么给出四散的答案。Silver 这本书讲的是更上游的问题,为什么预测本身就很难靠谱。两本书处理的是同一个判断生态系统的两个侧面。
Silver 给出的解法是概率化,把预测从"一个确定数字"变成"一个带概率范围的估计"。Kahneman 给出的解法是决策卫生,用结构化流程把人的噪声压下来。前者是"怎么说才靠谱",后者是"怎么做才靠谱",两条路并不冲突。
关联词
- 信号与噪声,Nate Silver 2012 年所著,Free Press 出版,贝叶斯思维普及化的代表作之一。
- Nate Silver,FiveThirtyEight 创始人,2008、2012 两次美国总统大选数据预测的核心操盘手。
- 贝叶斯更新,用新证据修正既有判断的概率方法,全书的方法论骨架。
- 1984 年大选集体误判,所有主流民调把里根领先优势测大 9 个百分点的经典案例。
- 降水概率 70%,天气预报敢于给出概率范围,是"好预测者"的典型示范。
小结
《信号与噪声》真正想留下的态度是,面对不确定,最诚实也最有效的回应,是给出一个带概率的范围,而不是一个看似确定的数字。这个态度适用于天气预报,也适用于投资判断、产品决策、公共政策。任何领域,只要涉及到"未来会怎样",这句话都成立。