阶段9Kaggle 金融赛●●●●●

防shake-up清单：把Private名次握在自己手里

我的掌握程度：
q-839精讲

先掌握这个答案

六条清单：①本地时序CV与Public的偏离监控：每日记录两者排名相关——持续背离（相关<0.3）=本地验证有病，先修CV再谈模型；②提交预算制：每用于验证一个明确假设（「加这个特征CV升吗」），禁止无假设试探——每次试探都是对Public的过拟合训练；③多方向ensemble：不同特征子集+不同种子的模型平均——单模型的「幸运」被平均掉，Private方差大减（最有效的单一动作）；④参数保守化：末期把learning_rate减半、正则加强、用更少特征——主动牺牲一点Public换取分布鲁棒性；⑤外部数据与规则红线：确认比赛允许的数据源（违规=取消资格，比shake-up惨）；⑥终局冻结：截止前48小时只做「减法」（去不稳定特征/加大正则），不做加法。

先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。

从理解到使用

本阶段实战方法 · 用实验记录把竞赛变成研究成果

参加BRAIN或金融预测比赛时，把平台成绩和可迁移的研究能力分别评价。

  1. 先阅读当前赛题数据、时间戳、评分、提交限制与使用条款；门槛以平台当期规则为准。
  2. 每次只改变一个假设，记录数据版本、公式、参数、seed、本地验证、提交分数和尝试次数。
  3. 固定验证后总结失败案例、成本敏感性和复现步骤，产出别人能核查的项目报告。

使用边界

  • Public榜不是最终测试集，反复围绕它调参会产生选择偏差。
  • 平台Alpha达标不代表可直接实盘，也不等于通过招聘或获得稳定收入。
不懂的术语：方差 / 标准差（Variance / Std）过拟合（Overfitting）IC（信息系数）特征（Feature）
背景 · 从一个困惑说起
q-838讲了「为什么会shake-up」，这题给「怎么防」——一份赛前就该贴在墙上的六条清单。它的本质是阶段6-8所有验证纪律的竞赛压缩包。
由此产生的问题
防shake-up六条清单分别是什么？各自防的是哪类跌幅来源？
核心概念
六条清单：①本地时序CV与Public的偏离监控：每日记录两者排名相关——持续背离（相关<0.3）=本地验证有病，先修CV再谈模型；②提交预算制：每用于验证一个明确假设（「加这个特征CV升吗」），禁止无假设试探——每次试探都是对Public的过拟合训练；③多方向ensemble：不同特征子集+不同种子的模型平均——单模型的「幸运」被平均掉，Private方差大减（最有效的单一动作）；④参数保守化：末期把learning_rate减半、正则加强、用更少特征——主动牺牲一点Public换取分布鲁棒性；⑤外部数据与规则红线：确认比赛允许的数据源（违规=取消资格，比shake-up惨）；⑥终局冻结：截止前48小时只做「减法」（去不稳定特征/加大正则），不做加法。
为什么需要它
①跌幅来源一一对应：②防「试探过拟合」、③防「单模运气」、④⑤防「分布与规则风险」、①⑥是流程保险——清单本质是把风险拆解后逐个上锁；②经验数据：Kaggle社区复盘认真执行③④⑥的队伍shake幅度中位数显著小于追榜队；③纪律迁移价值：这份清单去掉「Public榜」三个字，就是机构实盘上线前的checklist——竞赛练的是同一个肌肉。
实际应用场景
落地形式：比赛第一天建CHECKLIST.md，六条逐日打勾；最终提交选择=「CV最优的稳健版」而非「Public最优版」（两版不同时，永远选前者）。
与之前知识的联系
q-838给原理、本题给操作；①=q-710的CV诚实性、③=q-888预告的ensemble、④=q-713体检的主动版——阶段8的方法论在竞赛场景收口。
⚠ 常见误解
  • 防shake-up=最终选个保守提交：保守化应贯穿全程（③④要时间积累）；临时抱佛脚只覆盖一小部分风险
  • ensemble一定提升Private：它提升的是「期望+方差」组合——CV显著变差的ensemble是错误的ensemble（垃圾平均）
  • 清单一件事防一次跌：风险相互纠缠；清单的价值在于系统性——漏一条，其他条的效果打折

🤖 AI导师

导师会先检查你的前置知识（Public/Private机制、本地CV优先），再用案例、公式和代码帮助理解。此功能需要先启用服务。

量化学徒 · 研究与实践学习系统 ｜ 示例用于教学，实际规则以适用日期和官方说明为准