闲话“无偏”

在统计的教科书上，经常可以看到“无偏”（unbiased）这个词。例如 无偏估计，无偏检验，最小方差无偏估计等等。而在实际中不同的人会对这个词有着不同的理解。
根据偶的了解，unbiased 最早是由R. A. Fisher引入到参数估计理论里，主要用于建立若干评价一个估计量性能好坏的标准（像 无偏性，相合性，有效性）。当然，无偏性只是众多标准里的一种，但是却最被大家所熟知。我认为最主要的一个原因是其定义简单-期望值等于真实值，数学上好比较好处理-容易推倒数学结论。另外，可能就是大众心里普遍愿意接受一个没有系统偏差的估计量。在很多人的眼里，有系统偏差似乎是一个很不好的结果，很不完美，而无偏则刚好相反（貌似天朝人都喜欢完美的说，不知老外如何？）。这样的认识事实上有点主观臆断了，不够理性了。举个简单的例子，真实的参数为0，现在用一个服从伯努利分布的随机变量(以0.5概率等于100，以0.5概率等于-100)去估计.显然着是一个无偏估计，可是其效果就很差了。所以，千万不能把无偏性神圣化了。
其实，具体的统计问题对应不同的评价标准，然后在此标准下再去寻找优化的解。例如，在回归分析里，大家发现用LS得到的回归系数的估计虽然是无偏的，但是方差较大，从而导致模型的预测能力较差，所以有人就提出了一些有偏的估计，提高模型的预测能力。比较有名的方法有：ridge estimate，Lasso, SCAD, elastic net 等。可以看到在现在的统计理论里，有偏越来越受到大家的关注。