阶段8ML实战检验●●●●●

关卡:机器学习毕业考——一个诚实样本外的完整项目

我的掌握程度:
q-800精讲

先掌握这个答案

项目验收八条:①数据与特征:30+因子特征、标签设计说明书(q-702);②验证协议:Purged CV全程裁判(q-710)+OOS拼接终审(q-771);③模型:LightGBM安全参数+秩序调参记录(q-731);④体检:九信号体检表全绿(q-713);⑤结果:拼接样本外IC/分层/多空净值/成本后超额;⑥对比基线:等权因子合成被它打败了吗(打不败就别上ML);⑦复现:README一键重跑、随机种子固定;⑧边界声明:容量估算、失效条件、适用场景。答辩十问:金融ML三差异/标签设计三陷阱/为什么禁随机CV/Purged与Embargo各删什么/九信号任举三/五参数与秩序/min_data为何千级/OOS拼接三坑/拼接vs全样本的差距含义/什么时候不该用ML。

先读结论,再核对下方使用边界;数字例题为教学情景,涉及实际行情与规则时请核对原始来源。

从理解到使用

按标签区间检查泄漏

以实际预测目标设计时间切分,检查每条标签观察区间是否跨过验证边界。标准化、填充、特征选择和调参仅在训练内拟合;只按日期切开仍可能因标签重叠产生泄漏。

核对来源:scikit-learn:时间序列交叉验证 ↗

先赢过一个简单基线

固定数据与验证,比较等权、线性模型或朴素预测,再评估复杂模型的边际收益。记录重训练频率、预测延迟、漂移和费用;更高拟合分数不等于更高净收益。

本阶段实战方法 · 把验证流程当作模型的一部分

训练选股模型或使用另类数据时,先保证训练过程没有接触预测时不可得的信息。

  1. 定义每个样本的特征可得时间和标签覆盖区间,再按预测场景设计时间切分。
  2. 归一化、缺失填充、特征选择和调参只在训练集拟合;重叠标签要按实际区间purge。
  3. 用朴素基线和多段滚动样本外比较,报告成本、稳定性、漂移与全部实验次数。

使用边界

  • 排行榜或验证集反复用于挑模型后也会过拟合;留一份最终测试集。
  • 随机切分不是所有问题都禁止,但金融未来预测必须尊重时点和标签重叠,说明验证目标。
背景 · 从一个困惑说起
阶段8毕业考=交付一个完整的ML选股项目。它不是「模型分数最高的项目」,而是「验证最诚实的项目」——面试官看完你的README能复现每个数字,且找不到任何一处时间泄漏。这份项目是你简历上最有分量的一行。
由此产生的问题
毕业项目的验收清单有哪些?答辩十问是什么?
核心概念
项目验收八条:①数据与特征:30+因子特征、标签设计说明书(q-702);②验证协议:Purged CV全程裁判(q-710)+OOS拼接终审(q-771);③模型:LightGBM安全参数+秩序调参记录(q-731);④体检:九信号体检表全绿(q-713);⑤结果:拼接样本外IC/分层/多空净值/成本后超额;⑥对比基线:等权因子合成被它打败了吗(打不败就别上ML);⑦复现:README一键重跑、随机种子固定;⑧边界声明:容量估算、失效条件、适用场景。答辩十问:金融ML三差异/标签设计三陷阱/为什么禁随机CV/Purged与Embargo各删什么/九信号任举三/五参数与秩序/min_data为何千级/OOS拼接三坑/拼接vs全样本的差距含义/什么时候不该用ML。
为什么需要它
①作品的完整性:机构的ML研究=数据+模型+验证+工程+文档五合一——毕业项目按此标准塑形,简历价值最大化;②诚实是卖点:量化圈看惯了漂亮数字,一个「低而真」的项目反而稀缺——你的差异化定位;③阶段衔接:此项目直接喂给阶段9(竞赛)与阶段10(求职面试)——一鱼三吃。
实际应用场景
答辩形式:对AI导师完整讲20分钟(它扮演挑剔面试官),被问倒的点当天补;README结构:问题→数据→方法→验证协议→结果→边界→复现。
与之前知识的联系
八门功课在项目里合龙:阶段4管道供数据、阶段5因子供特征、阶段6协议管验证、阶段7全景图管上线后——ML项目是整个课程的「期中考」。通关后进入阶段9:把能力兑换成竞赛战绩与简历。
⚠ 常见误解
  • 项目分数越高越好:金融ML项目的评分维度是「验证可信度×工程完整度」,分数只是结果之一——0.045的诚实IC胜过0.08的水分IC
  • 毕业考过了ML就毕业了:ML是工具不是终点;阶段9-10教你用它换机会,之后 lifelong learning(q-1000预告)
  • 答辩背答案就行:面试官的追问是发散的——理解每个「为什么」才能以不变应万变

🤖 AI导师

导师会先检查你的前置知识(全阶段:ML特殊性/验证纪律/树模型/特征/OOS拼接),再用案例、公式和代码帮助理解。此功能需要先启用服务。