阶段8机器学习基础●●●●●

阶段8开篇：为什么机器学习进入金融——以及它和普通ML的区别

我的掌握程度：

q-701精讲

先掌握这个答案

ML的定位：量化工厂里，ML主要接管「因子合成」车间——输入N个因子（特征），输出未来收益的预测分（一个超级合成因子）。决策链其余环节（股票池、风控、执行）依然由规则主导。金融ML与普通ML的三大差异：①信噪比极低（IC 0.03已算好信号，图像识别准确率99% vs 选股方向正确率51%就是圣杯）；②数据非平稳（市场结构变化让「训练分布≠未来分布」，猫的图片不会变异，市场会）；③样本高度相关（时间重叠、横截面相关，有效样本远小于表面样本数）。

先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。

从理解到使用

先赢过一个简单基线

固定数据与验证，比较等权、线性模型或朴素预测，再评估复杂模型的边际收益。记录重训练频率、预测延迟、漂移和费用；更高拟合分数不等于更高净收益。

本阶段实战方法 · 把验证流程当作模型的一部分

训练选股模型或使用另类数据时，先保证训练过程没有接触预测时不可得的信息。

定义每个样本的特征可得时间和标签覆盖区间，再按预测场景设计时间切分。
归一化、缺失填充、特征选择和调参只在训练集拟合；重叠标签要按实际区间purge。
用朴素基线和多段滚动样本外比较，报告成本、稳定性、漂移与全部实验次数。

使用边界

排行榜或验证集反复用于挑模型后也会过拟合；留一份最终测试集。
随机切分不是所有问题都禁止，但金融未来预测必须尊重时点和标签重叠，说明验证目标。

不懂的术语：股票（Stock）因子（Factor）IC（信息系数）因子合成（Factor Combination）特征（Feature）

背景 · 从一个困惑说起

阶段5你学了因子合成的经典方法：等权、IC加权、线性回归。但当因子数量从10个涨到300个、当非线性交互（动量×换手、波动×情绪）开始重要时，手工组合到头了。机构的数据列数以千计——人类大脑写不出1000个变量的组合公式，机器学习是唯一的选择。

由此产生的问题

ML在量化中具体替代/增强了流水线的哪一环？金融ML与普通ML（图像/推荐）的本质区别是什么？

核心概念

为什么需要它

①能力边界认知：三大差异决定了金融ML的核心矛盾——模型容量越大越容易过拟合，而市场给不了图像识别那样的大数据红利；②正确姿势：金融ML的重点不在「更炫的模型」而在「更严的验证」（时序CV/防泄漏）和「更好的特征」；③职业现实：LightGBM+好特征打天下，深度学习在选股上长期不敌树模型+特征工程——先立业主再追新。

实际应用场景

落地形态：特征=因子库300列，标签=未来10日超额收益，模型=LightGBM，输出=每日预测分→走标准因子流程（Rank→TopN/优化器）。本阶段后半将亲手走通这条线（走查验证）。

与之前知识的联系

阶段5的因子合成（人工版）在本阶段升级为ML版；阶段3的过拟合与假设检验是金融ML防身武器的数学源头；阶段4的数据管道提供特征原料——流水线视角下，ML不是新工厂，是合成车间的自动化改造。

⚠ 常见误解

上ML=收益起飞：ML放大的是「因子里已有的信息」，垃圾特征+深模型=放大版的过拟合
金融ML=复刻图像ML经验：调参直觉全部失灵——学习率还没发挥作用，过拟合已经发生
深度学习必然更强：表格数据上LightGBM长期霸榜（Kaggle实证）；LSTM/Transformer在低信噪比下极易记住噪声

🤖 AI导师

导师会先检查你的前置知识（因子合成、过拟合、回归），再用案例、公式和代码帮助理解。此功能需要先启用服务。