阶段8树模型与特征工程●●●●●

XGBoost vs LightGBM vs CatBoost：三兄弟选型指南

我的掌握程度：

q-725精讲

先掌握这个答案

三差异：①分裂策略：XGBoost按层（level-wise，稳）、LightGBM按叶（leaf-wise，快且常更准但深树易过拟合——靠max_depth与min_data约束）、CatBoost（oblivious树/对称结构，抗过拟合+有序目标编码）；②速度与内存：LightGBM通常快3-10倍（直方图+leaf-wise）——大数据首选；③类别特征：CatBoost原生最优（无需哑变量化）——行业/股票代码类特征多时看家本领。金融默认：LightGBM（速度快=迭代多=研究吞吐大；q-731的安全参数成熟）。例外：类别特征占比高且含高基数（如股票代码）→试CatBoost；需要极致稳定的小数据→XGBoost的保守分裂。融合：三兄弟的预测相关性通常>0.9——ensemble增益有限但稳定+1-2%；Kagge式做法（不同种子×不同库平均）值得在终版使用。

先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。

从理解到使用

先赢过一个简单基线

固定数据与验证，比较等权、线性模型或朴素预测，再评估复杂模型的边际收益。记录重训练频率、预测延迟、漂移和费用；更高拟合分数不等于更高净收益。

本阶段实战方法 · 把验证流程当作模型的一部分

训练选股模型或使用另类数据时，先保证训练过程没有接触预测时不可得的信息。

定义每个样本的特征可得时间和标签覆盖区间，再按预测场景设计时间切分。
归一化、缺失填充、特征选择和调参只在训练集拟合；重叠标签要按实际区间purge。
用朴素基线和多段滚动样本外比较，报告成本、稳定性、漂移与全部实验次数。

使用边界

排行榜或验证集反复用于挑模型后也会过拟合；留一份最终测试集。
随机切分不是所有问题都禁止，但金融未来预测必须尊重时点和标签重叠，说明验证目标。

不懂的术语：股票（Stock）过拟合（Overfitting）特征（Feature）LightGBM 常用参数

背景 · 从一个困惑说起

GBDT三兄弟霸榜表格数据十年：XGBoost（2014，工程化先驱）、LightGBM（2017，微软，速度之王）、CatBoost（2018，Yandex，类别特征专家）。选型不是信仰问题，是需求匹配问题。

由此产生的问题

三者的核心差异（分裂算法/速度/类别处理）？金融选股场景的默认推荐与例外？混用与融合的建议？

核心概念

为什么需要它

①工具选型的成本意识：研究期80%的价值来自数据与特征——库的选择是次要优化，别在切换库上花超过一天；②理解参数的差异本质：LightGBM的num_leaves与XGBoost的max_depth语义不同（leaf-wise vs level-wise）——参数对照出错是迁移常见事故；③生态成熟度：三者的金融应用文献/案例以LightGBM最厚——遇到问题可查的答案最多（工程意义上的「正确选择」）。

实际应用场景

默认路线：LightGBM+安全参数起步（q-731）；数据>千万行或特征>200：LightGBM无悬念；类别特征核心：CatBoost对照一版；最终交付：两库×多种子的小融合。

与之前知识的联系

q-724（GBDT原理）的实现层；q-731（调参纪律）以LightGBM为标准语法；q-748（ensemble）是三兄弟融合的专章。

⚠ 常见误解

最新最强的库=更好的结果：表格数据上三者差距通常<5%，且可由特征工程轻松反超——选型的影响被高估
参数可以直接从XGBoost搬：分裂语义不同——num_leaves(31)≈max_depth(5)的复杂度但不成比例直换，搬参数是常见翻车点
CatBoost只适合类别特征：它的对称树在数值特征的小数据集上也常更稳——值得作为「第二意见」对照跑一版

🤖 AI导师

导师会先检查你的前置知识（GBDT原理），再用案例、公式和代码帮助理解。此功能需要先启用服务。