阶段8ML实战检验●●●●●

为什么说"样本外只有一次"?

我的掌握程度:
q-794速览 · 附阶段实战指南

先掌握这个答案

看过样本外结果并据此修改策略,它就失去验证意义——ML研究最重要的纪律。

先读结论,再核对下方使用边界;数字例题为教学情景,涉及实际行情与规则时请核对原始来源。

从理解到使用

按标签区间检查泄漏

以实际预测目标设计时间切分,检查每条标签观察区间是否跨过验证边界。标准化、填充、特征选择和调参仅在训练内拟合;只按日期切开仍可能因标签重叠产生泄漏。

核对来源:scikit-learn:时间序列交叉验证 ↗
本阶段实战方法 · 把验证流程当作模型的一部分

训练选股模型或使用另类数据时,先保证训练过程没有接触预测时不可得的信息。

  1. 定义每个样本的特征可得时间和标签覆盖区间,再按预测场景设计时间切分。
  2. 归一化、缺失填充、特征选择和调参只在训练集拟合;重叠标签要按实际区间purge。
  3. 用朴素基线和多段滚动样本外比较,报告成本、稳定性、漂移与全部实验次数。

使用边界

  • 排行榜或验证集反复用于挑模型后也会过拟合;留一份最终测试集。
  • 随机切分不是所有问题都禁止,但金融未来预测必须尊重时点和标签重叠,说明验证目标。

打开术语词典,随时查阅基础概念。

核心答案(速览)
看过样本外结果并据此修改策略,它就失去验证意义——ML研究最重要的纪律。

🤖 AI导师

导师会先检查你的前置知识(起点概念),再用案例、公式和代码帮助理解。此功能需要先启用服务。