原创分享：为什么有人说大部分发表的科学研究都是错的？

Cuddy的广泛批评，后来她在2017年春季离开了哈佛商学院的终身职位。（Cuddy后来又在2018年3月重新发表了一篇相关论文来证明自己）

    我们再来看看另一个有趣的例子。2015年在西方媒体中，一份论文引发了一阵热潮。

    天啦撸~每天吃一块巧克力可以减肥啦！！！！！

    在这个研究中心，男女年龄在19到67岁之间的参与者被随机分配到三个治疗组之一：第一组进行低碳水化合物饮食，第二组进行相同的低碳水化合物饮食加每天42克巧克力（1.5盎司），第三组则是对照组，要求他们保持日常饮食结构。

    实验在三周之后结束，对照组的体重不增不减，第一组和第二组的参与者一样平均减掉了2.3kg的体重，但是加餐了巧克力组的减肥速度比不吃巧克力的组快10%。这个实验结果在统计学上是显著的，因为p值小于0.05。

    你可以想象这个结果有怎样的爆炸性，新闻媒体立刻跟进，吃巧克力能减肥的消息迅速传播开来。结果呢？

    五月的时候，这位大哥跳了出来，注意一下他和论文中第一作者的名字差别。这篇论文从头到尾都是一个玩笑。这位Bohannon是何许人也，他是美国著名的科学记者和生物学家。这篇论文就来自于他故意设计的恶意研究，他想要通过这个时间来观察媒体如何捕获和吸收“无意义”的研究结果。

    他用这篇论文向二十家期刊投稿，并最终被国际医学档案馆（Iional Aredie）发行。他使用了一个假名字并虚构了一个假的研究机构，但是这篇充满恶趣味的论文却登上了大量的世界性媒体。

    接下来，我们来看看他是如何操纵实验结果的。

    首先，实验样本十分小，只有15个人被分到了三组，这意味着每组只有5个人。每个人被测量追踪了18个不同的身体指标，包括体重、胆固醇、钠含量、血蛋白水平、睡眠质量、幸福度等等。他们通过如此设计大大增加了实验指标中出现假阳性的可能性，如果体重没有显著差异，还有很多其他因素可能有。

    此处体现p值操纵（p-hag，或者Data dredging， data fishing， data snooping， data butchery 谁知道为啥有这么多名字）p值的一个重要特点是它只对单一指标有效，一旦在实验中比较了一大堆变量，那么变量中出现假阳性的概率就被大大提高了。研究人员可以在实验分析中采取很多手段来主动降低p值。

    举个例子，我想要实验豆类对于人心情的影响，那么我可以使用一大堆变量。首先是人，抑郁程度、睡眠时间、自我评价等等，然后是豆类，黑豆、红豆、黄豆、青豆等等。如果足够幸运的话，我也许就能够从中找到一组假阳性的数据并发表论文。标题呢？吃红豆有助于改善抑郁症状，哇啦，又是一篇微博朋友圈的话题来源~

    那么p值操纵现象在科学界到底有多普遍呢？人们一般会使用p值分布（p-curve）来判断是否有认为对p值进行了操纵。有研究表明，在大多数学科的公开论文中，p值更多的落在了0.05和0.01附近的区间。

    在实验研究中研究人员在收集和分析数据的过程中需要作出很多决定：是否应该收集更多数据？是否应排除某些观察结果？应结合哪些条件，并比较哪些条件？应该考虑哪些控制变量？是否应结合或改变具体措施或同时采取这两种措施？这些实验过程中的操纵，或有意或无意的将实验结果推向了更具有统计学意义的结果。

    2015年，社会心理学家，弗吉尼亚州夏洛茨维尔市开放科学中心负责人Brian Nosek和269位合著者重复了三份心理学期刊发表的98篇原创论文中的报道。他们一共复制了100项已有的心理学研究，发现只有39个研究能得到之前宣称的“显著”结果。在其它学科的类似复制研究中，经济学的通过率是60%，生物医药可能更低。

    从这一年开始，科学界开始加大声量呼吁采取一个更加严格的p值来规范学术行为。2015年发表在《科学》上的研究显示使用更小p值（p<0.01）的研究复制成功几率较高。虽然这并不能从根本上解决p值操纵的问题，不过这毕竟是朝着更严谨的方向前进了一步。从p值这个小角度我们也可以看到科学界中某些问题，比如在学术压力下更倾向于发表有数据可以做出显著性的研究，而不是真正思考有价值的课题。

    最可怕的是想一想人们在科学这个最寻求严谨使用着完善数学工具的领域，经过成熟实验标准化、复杂数学统计、严格同行审议之后依旧会有如此多的不正确信息被正规的科学期刊出版~那么当人类在非理性的状态时又会有多频繁地自欺欺人呢？

    写这篇文章的原因在于我发现我们经常可以在互联网上看到如下的句式：某国科学家研究表明......某大学实验团队研究表明......某某研究报告证实......后面紧跟着的就是一个十分打破常识的内容。吃巧克力减肥......吃黄油减肥......吃高热量食物减肥......等等都为微博等平台提供了不小的流量。通过这篇文章，我想让大家了解一下这背后的原理。媒体总是喜欢选择这些引人注意、吸人眼球的内容，作为一名普通人我们一定要对这些看似科学的内容保持冷静。