阶段8机器学习基础●●●●●

Optuna实践：贝叶斯调参的预算控制

我的掌握程度：
q-721精讲

先掌握这个答案

机制：TPE（树形Parzen估计）——根据历史"好试验/坏试验"的分布采样下一组参数（比网格聪明、比随机高效）；剪枝（pruning）——中途表现差的试验提前杀掉省预算。骨架：objective(trial)→trial.suggest_*（参数空间）→返回Purged CV分数→study.optimize(n_trials=N)。预算=诚实N：n_trials直接进多重检验账本（100次试验的最优=DSR打折对象，q-510）——预算纪律：≤30次起步（金融数据的信息量撑不起更多）。防过拟合三件：①验证集要"嵌套保护"（最终评估另留，q-709）；②早停（试验后期增益<噪声就收）；③参数空间先窄后宽（先安全档三档，有信号再放宽）——约束搜索=约束过拟合自由度。

先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。

从理解到使用

本阶段实战方法 · 把验证流程当作模型的一部分

训练选股模型或使用另类数据时，先保证训练过程没有接触预测时不可得的信息。

  1. 定义每个样本的特征可得时间和标签覆盖区间，再按预测场景设计时间切分。
  2. 归一化、缺失填充、特征选择和调参只在训练集拟合；重叠标签要按实际区间purge。
  3. 用朴素基线和多段滚动样本外比较，报告成本、稳定性、漂移与全部实验次数。

使用边界

  • 排行榜或验证集反复用于挑模型后也会过拟合；留一份最终测试集。
  • 随机切分不是所有问题都禁止，但金融未来预测必须尊重时点和标签重叠，说明验证目标。
不懂的术语：过拟合（Overfitting）
背景 · 从一个困惑说起
q-731立了调参纪律（秩序法三小时）；当参数空间更大（>5维）时网格爆炸——Optuna的贝叶斯优化用"历史试验"指导下一组尝试，同样预算下多挤出一截性能。但工具越聪明、过拟合越隐蔽——预算控制成为新纪律。
由此产生的问题
Optuna的机制（TPE采样+剪枝）与用法骨架？试验预算怎么定（次数=你的N）？"优化器与验证集的过拟合"怎么防（嵌套+提前停）？
核心概念
机制：TPE（树形Parzen估计）——根据历史"好试验/坏试验"的分布采样下一组参数（比网格聪明、比随机高效）；剪枝（pruning）——中途表现差的试验提前杀掉省预算。骨架：objective(trial)→trial.suggest_*（参数空间）→返回Purged CV分数→study.optimize(n_trials=N)。预算=诚实N：n_trials直接进多重检验账本（100次试验的最优=DSR打折对象，q-510）——预算纪律：≤30次起步（金融数据的信息量撑不起更多）。防过拟合三件：①验证集要"嵌套保护"（最终评估另留，q-709）；②早停（试验后期增益<噪声就收）；③参数空间先窄后宽（先安全档三档，有信号再放宽）——约束搜索=约束过拟合自由度。
为什么需要它
①效率的诱惑与代价：贝叶斯优化比网格聪明——但"聪明地搜索验证集"=更高效的过拟合——预算与嵌套是配套安全带；②试验日志的自动性：Optuna自带study记录（每次试验的参数与分数）——"诚实N"从手工日志升级为自动账本（但仍要你在报告里引用它）；③与秩序法的关系：小空间（≤3参数）用秩序法（可控可解释）、大空间（特征选择+多超参联动）用Optuna+预算——工具随问题规模切换。
实际应用场景
起步配置：n_trials=30、early_stopping=15轮无提升、空间=安全档附近（num_leaves 15-63、min_data 500-2000、l1/l2 3档）；study结果（最优参数+试验历史图）归档进实验日志。
与之前知识的联系
q-731（秩序法）的大空间扩展；n_trials=N回扣q-510（DSR）与q-709（嵌套）；早停呼应q-733（模型训练的早停同哲学）。
⚠ 常见误解
  • Optuna万能所以随便跑几百次：试验次数是过拟合账单——预算纪律（≤30）不因工具聪明而豁免
  • 最优试验的分数=模型分数：那是"100次尝试的最优"=选择偏差的浓缩——最终分数用未参与的测试/嵌套
  • 空间越大越好：宽空间+多试验=搜索自由度过大——先窄后宽的渐进策略是性能与稳健的平衡

🤖 AI导师

导师会先检查你的前置知识（调参纪律、CV协议），再用案例、公式和代码帮助理解。此功能需要先启用服务。

量化学徒 · 研究与实践学习系统 ｜ 示例用于教学，实际规则以适用日期和官方说明为准