在看报告时经常会碰到如下术语holdout 5.4%/yr、长窗 skewness 五分组价差 7.5%/8.6%两宇宙这里的holdout指最终留出样本 / 样本外测试集。1 holdout举例在前面一段数据上发现、调参、选窗口、选分组、选中性化方式留出一段数据完全不碰最后只跑一次在这段没参与开发的数据上长窗skewness多空组合年化5.4%。所以holdout 5.4%/yr的含义是样本外仍然有5.4%的年化收益方向没崩。2 关键点1必须是时间后置留出比如前面 2010–2018 开发2019–2024 做 holdout。如果是随机留出面板数据里同一股票相邻月份高度相关容易泄露结果会偏乐观。2不能反复看holdout调参如果你看了holdout结果再回去改窗口、改分组、改中性化那它就不再是 holdout只是另一个 validation。35.4% 本身不够如果要说明问题还需要关注- holdout 多长3 年还是 10 年- 年化波动多少- t-stat 多少- 最大回撤、分年度胜率- 是否行业/市值中性- 是否扣费、扣借券- 换手多少简单估计粗算如果 holdout 波动10%、长度 5 年t 约 1.2长度 10 年t 约 1.7。所以 5.4% 年化可能还不够显著。4和全样本价差对比长窗skewness五分组价差7.5%/8.6%holdout只有5.4%衰减约30%–37%这算正常范围。但关键是五分组价差是在全样本还是 holdout如果holdout里五分组仍然单调、多空仍有5.4%那因子质量还可以如果只是全样本好看holdout 靠少数年份那就要小心。reference---Holdout实验为什么巨头公司用它验证长期价值https://zhuanlan.zhihu.com/p/1938920713101764085quantframe-deshttps://github.com/Quantframe/Quantframe