过拟合的九个信号：模型在喊"我背题了"
我的掌握程度：
先掌握这个答案
九信号体检表：①训练/验证分差大（>30%）：记忆而非学习；②参数敏感性尖峰（q-466同款）：num_leaves从31改41分数暴跌=记住了特定切分；③样本外快速衰减（上线三月IC腰斩）：考场换了答案失效；④特征重要性集中在「怪异特征」（如某一天的价格占重要性40%）：模型找到了数据的胎记而非规律；⑤学习曲线不收敛（训练分随数据增加仍疯涨）：容量过剩；⑥微小的数据扰动导致预测大变（输入加1%噪声、输出换血）：不稳定=背题；⑦验证分数对随机种子极度敏感（五个种子五个世界）：本质是拟合了随机性；⑧特征数/样本数比过高（>1:10的表格数据警报）：维度诅咒；⑨「讲不出故事」的强特征（无法解释为何有效的特征排第一）：数据挖掘的胎记。判决：≥3盏红灯=重审设计；①+⑦同时亮=几乎必死。
先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。
从理解到使用
本阶段实战方法 · 把验证流程当作模型的一部分
训练选股模型或使用另类数据时，先保证训练过程没有接触预测时不可得的信息。
- 定义每个样本的特征可得时间和标签覆盖区间，再按预测场景设计时间切分。
- 归一化、缺失填充、特征选择和调参只在训练集拟合；重叠标签要按实际区间purge。
- 用朴素基线和多段滚动样本外比较，报告成本、稳定性、漂移与全部实验次数。
使用边界
- 排行榜或验证集反复用于挑模型后也会过拟合；留一份最终测试集。
- 随机切分不是所有问题都禁止，但金融未来预测必须尊重时点和标签重叠，说明验证目标。
背景 · 从一个困惑说起
过拟合从不自我坦白——它伪装成「模型很聪明」。但指纹总会留下：训练与验证的分差、参数的脆弱性、特征重要性的诡异分布……这题把九个信号编成体检表，任何一个亮红灯都值得停下来审问你的模型。
由此产生的问题
九个信号分别是什么？各自背后的机理？亮几盏红灯该判死刑？
核心概念
九信号体检表：①训练/验证分差大（>30%）：记忆而非学习；②参数敏感性尖峰（q-466同款）：num_leaves从31改41分数暴跌=记住了特定切分；③样本外快速衰减（上线三月IC腰斩）：考场换了答案失效；④特征重要性集中在「怪异特征」（如某一天的价格占重要性40%）：模型找到了数据的胎记而非规律；⑤学习曲线不收敛（训练分随数据增加仍疯涨）：容量过剩；⑥微小的数据扰动导致预测大变（输入加1%噪声、输出换血）：不稳定=背题；⑦验证分数对随机种子极度敏感（五个种子五个世界）：本质是拟合了随机性；⑧特征数/样本数比过高（>1:10的表格数据警报）：维度诅咒；⑨「讲不出故事」的强特征（无法解释为何有效的特征排第一）：数据挖掘的胎记。判决：≥3盏红灯=重审设计；①+⑦同时亮=几乎必死。
为什么需要它
①金融ML的头号死因：低信噪比环境下过拟合不是「可能」而是「默认」——没有体检的模型默认有病；②诊断先于治疗：多数人见到低分去调参（治疗），见到高分直接信（不体检）——方向全反；③面试素材：被问「你怎么判断模型过拟合」时，九信号任选三个展开就是满分答案。
实际应用场景
体检脚本化：每次训练自动输出九项指标（分差、种子方差、扰动稳定性…）存入实验日志；上线前人工复核特征重要性榜单。
与之前知识的联系
q-255/510（阶段3/6）是统计层的防自欺、q-466（阶段5）是参数层、本题是ML层——三层防御同源（对「太好」保持怀疑）。q-731的调参纪律直接建立在本体检表之上。
⚠ 常见误解
- 验证分高就没过拟合：验证集被反复查看后本身就是训练集的一部分（研究污染）——信号③⑤要在「从未触碰」的终端测试上测
- 深度模型才有过拟合：LightGBM在低信噪比下照样过拟合——树越深背题越狠
- 红灯灯数少就放行：①+⑦双亮足以死刑；体检是排除法不是积分法
🛠 本题实践任务
为你的ML模型跑信号①②⑦三项体检（分差/参数敏感性/种子方差），输出红灯/绿灯表。有红灯的先修（砍特征/加正则）再谈分数。
💡 提示（先自己想5分钟再看）
种子方差看CV（std/mean）；参数敏感性扫num_leaves±30%；分差=(训练-验证)/训练。
✅ 验收标准
三信号体检表+红灯处置记录。「先体检后庆祝」从今天成为你的ML仪式。
在你的浏览器内运行。首次需联网下载 Python；支持标准库和 Pyodide 提供的 NumPy、pandas 等包。行情抓取、系统文件访问和部分第三方库请在本地环境运行。输出自检仅比对结果关键词，不代替逻辑审查。
Python · 独立工作线程 · 执行限时10秒
🤖 AI导师
导师会先检查你的前置知识（过拟合概念、训练验证分数差、参数敏感性），再用案例、公式和代码帮助理解。此功能需要先启用服务。