最终留出样本/样本外测试集-holdout解读
2026/9/12 21:13:29 网站建设 项目流程

在看报告时经常会碰到如下术语

holdout +5.4%/yr、长窗 skewness 五分组价差 +7.5%/+8.6%(两宇宙)

这里的holdout指:最终留出样本 / 样本外测试集。

1 holdout举例

在前面一段数据上发现、调参、选窗口、选分组、选中性化方式;

留出一段数据完全不碰,最后只跑一次;

在这段没参与开发的数据上,长窗skewness多空组合年化+5.4%。

所以holdout +5.4%/yr的含义是:样本外仍然有5.4%的年化收益,方向没崩。

2 关键点

1)必须是时间后置留出

比如前面 2010–2018 开发,2019–2024 做 holdout。

如果是随机留出,面板数据里同一股票相邻月份高度相关,容易泄露,结果会偏乐观。

2)不能反复看holdout调参

如果你看了holdout结果,再回去改窗口、改分组、改中性化,

那它就不再是 holdout,只是另一个 validation。

3)5.4% 本身不够

如果要说明问题,还需要关注:

- holdout 多长?3 年还是 10 年?

- 年化波动多少?

- t-stat 多少?

- 最大回撤、分年度胜率?

- 是否行业/市值中性?

- 是否扣费、扣借券?

- 换手多少?

简单估计粗算:

如果 holdout 波动10%、长度 5 年,t 约 1.2;长度 10 年,t 约 1.7。

所以 5.4% 年化可能还不够显著。

4)和全样本价差对比

长窗skewness五分组价差+7.5%/+8.6%,holdout只有+5.4%,衰减约30%–37%,这算正常范围。

但关键是五分组价差是在全样本还是 holdout?

如果holdout里五分组仍然单调、多空仍有5.4%,那因子质量还可以;

如果只是全样本好看,holdout 靠少数年份,那就要小心。

reference

---

Holdout实验:为什么巨头公司用它验证长期价值?

https://zhuanlan.zhihu.com/p/1938920713101764085

quantframe-des

https://github.com/Quantframe/Quantframe

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询