特征重要性的正确读法:gain、split与.permutation
先掌握这个答案
三算法:①gain(增益):特征在所有分裂中带来的损失下降总和——最常用;偏见:与特征的使用频率耦合(能多次分裂的特征占优)。②split(分裂次数):被选为分裂点的次数;偏见:高基数特征(取值多的)有更多候选切点→天然被多选——「树的户口歧视」。③permutation(置换):打乱该特征后模型分数的下降——最贴近"这个特征贡献了什么";偏见:相关特征间互相稀释(打乱A时B能顶上→A显得不重要)。防偏见组合拳:榜单用gain+permutation双列对照;高基数特征预先分箱(把连续换成分位——拉平户口);相关组按"组贡献"合并解读(q-716的组思想)。正确用途:①粗筛(gain榜的尾部剔除候选);②诊断(重要性突变为数据问题的警报——某天一个垃圾特征登顶=管道出错);③沟通(向非技术者讲模型在看什么)。错误用途:"重要性高=因果/该因子独立有效"——它只说明模型用了它(相关组内的分摊问题,q-716)。
先读结论,再核对下方使用边界;数字例题为教学情景,涉及实际行情与规则时请核对原始来源。
从理解到使用
本阶段实战方法 · 把验证流程当作模型的一部分
训练选股模型或使用另类数据时,先保证训练过程没有接触预测时不可得的信息。
- 定义每个样本的特征可得时间和标签覆盖区间,再按预测场景设计时间切分。
- 归一化、缺失填充、特征选择和调参只在训练集拟合;重叠标签要按实际区间purge。
- 用朴素基线和多段滚动样本外比较,报告成本、稳定性、漂移与全部实验次数。
使用边界
- 排行榜或验证集反复用于挑模型后也会过拟合;留一份最终测试集。
- 随机切分不是所有问题都禁止,但金融未来预测必须尊重时点和标签重叠,说明验证目标。
- 重要性第一名=最好的因子:它可能只是"最好切的高基数特征"或"相关组的随机代表"——双算法对照+组解读再下结论
- 重要性低=可以删:可能被相关兄弟稀释(permutation的暗面)——删除决策用"删了之后样本外掉多少"做终审
- 重要性稳定不变:市场结构变化会改榜单(某类因子崛起)——滚动重要性本身是监控信号(配合q-712的PSI)
🛠 本题实践任务
为你的模型输出gain+permutation双榜单:找出只出现在单榜的特征(高基数嫌疑或相关组稀释),做分箱/组化改造后重训——新榜单更可信了吗?
💡 提示(先自己想5分钟再看)
permutation在相关特征间互斥稀释——组化后重看;分箱用qcut十分位。
在你的浏览器内运行。首次需联网下载 Python;支持标准库和 Pyodide 提供的 NumPy、pandas 等包。行情抓取、系统文件访问和部分第三方库请在本地环境运行。输出自检仅比对结果关键词,不代替逻辑审查。
🤖 AI导师
导师会先检查你的前置知识(决策树结构、过拟合信号),再用案例、公式和代码帮助理解。此功能需要先启用服务。