问答卡
为什么「试了很多次都有效」不能说明规律存在?
内容由龙太观市 LTIsland Insight原创整理并存证发布,转载/引用请署名并链接原文,详见授权条款。
因为在同一份历史数据上试的想法越多,纯靠运气「碰」出一个漂亮结果的可能性就越大——即使这些想法全都无效也一样。这是概率的必然。所以「试了很多次」本身不是证据,反而增加了挑选运气混进结论的机会。
判断这类结论,关键信息是「一共试了多少个想法」而不只是「最好的那个有多好」。只报告成功案例、不交代试过多少,结论就无法评估——分子可见、分母不可见的比例是没有意义的。本条只解释概念,不构成投资建议。
也叫:回测很多次有效、多次验证有效
延伸阅读
样本量与统计显著性:为什么「试了很多次都对」不等于发现了规律 →