读懂赛题：评价指标即优化目标
我的掌握程度：
先掌握这个答案
指标的性格：①RMSE（均方根误差）：惩罚大错——异常值主导训练（给极端样本加权或专门建模尾部）；②RMSPE：相对误差——小目标值的误差被放大（ Jane Street波动率赛用RMSPE——低价股的预测更「贵」）；③Pearson相关（Ubiquant赛）：只看相关不管幅度——预测的尺度无关紧要（可放心做rank变换）；④自定义Utility（Jane Street系列）：按「模拟交易盈利」计分——你的预测要经过阈值/仓位变换才得分（优化的是策略不是预测——最后一步的决策规则成为建模的一部分）。指标反塑策略：损失函数对齐指标（RMSE→MSE损失；Pearson→预测做rank后回归也行）；验证集的切分按指标的敏感结构设计（波动率赛按时间块切分——RMSPE的时间不均匀性）。
先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。
从理解到使用
本阶段实战方法 · 用实验记录把竞赛变成研究成果
参加BRAIN或金融预测比赛时，把平台成绩和可迁移的研究能力分别评价。
- 先阅读当前赛题数据、时间戳、评分、提交限制与使用条款；门槛以平台当期规则为准。
- 每次只改变一个假设，记录数据版本、公式、参数、seed、本地验证、提交分数和尝试次数。
- 固定验证后总结失败案例、成本敏感性和复现步骤，产出别人能核查的项目报告。
使用边界
- Public榜不是最终测试集，反复围绕它调参会产生选择偏差。
- 平台Alpha达标不代表可直接实盘，也不等于通过招聘或获得稳定收入。
不懂的术语：波动率（Volatility）
背景 · 从一个困惑说起
每个Kaggle赛的第一屏不是数据而是评价指标——RMSE？Pearson相关？自定义Utility？新手跳过它直奔数据，高手先花一小时吃透它：指标定义了「什么算好」，进而定义了你的损失函数、验证设计甚至模型选择。
由此产生的问题
金融赛常见指标（RMSE/Pearson/自定义Utility/RMSPE）各自偏好什么？指标如何反过来塑造策略（损失函数/验证构造/异常值处理）？
核心概念
指标的性格：①RMSE（均方根误差）：惩罚大错——异常值主导训练（给极端样本加权或专门建模尾部）；②RMSPE：相对误差——小目标值的误差被放大（ Jane Street波动率赛用RMSPE——低价股的预测更「贵」）；③Pearson相关（Ubiquant赛）：只看相关不管幅度——预测的尺度无关紧要（可放心做rank变换）；④自定义Utility（Jane Street系列）：按「模拟交易盈利」计分——你的预测要经过阈值/仓位变换才得分（优化的是策略不是预测——最后一步的决策规则成为建模的一部分）。指标反塑策略：损失函数对齐指标（RMSE→MSE损失；Pearson→预测做rank后回归也行）；验证集的切分按指标的敏感结构设计（波动率赛按时间块切分——RMSPE的时间不均匀性）。
为什么需要它
①「优化什么」先于「怎么优化」：分数涨跌全部以指标为锚——理解偏差一分，努力偏航十分；②金融指标的教学价值：Utility类指标逼你思考「预测→仓位→盈利」的完整链条——这正是量化研究的全流程缩影；③损失-指标-验证的三对齐是竞赛第一课也是研究第一课。
实际应用场景
开赛首日动作清单：抄下指标公式→手算一个小例（两三个样本的分数）→写出「什么预测得高分」的一句话直觉→把本地验证指标严格复刻成赛题口径。
与之前知识的联系
q-837（评价指标概念）的赛事实战；q-705（标签）与损失函数的呼应；q-836（本地验证）的口径来源。
⚠ 常见误解
- 所有指标都差不多，预测准就行：Pearson下预测整体×2分数不变、RMSE下天壤之别——指标的尺度敏感性决定你的预处理自由度
- 用默认MSE训练就行：损失与指标错位=优化了错误方向——至少最终微调阶段要换对齐损失
- Utility指标只是噱头：它把「预测好不好」换成「赚不赚钱」——决策阈值（预测多大才交易）成为一等公民，这是最接近实盘的训练
🛠 本题实践任务
挑一个进行中（或历史）的金融赛：抄下指标公式，手算3个样本的分数；写一句「什么预测得高分」的直觉；检查你的本地验证代码是否严格复刻该口径。
💡 提示（先自己想5分钟再看）
历史赛在Kaggle搜completed competitions（Jane Street/Optiver/Ubiquant都是经典教具）。
✅ 验收标准
一页「指标卡」：公式+手算例+直觉一句话+验证对齐确认。这是每场赛的开工证。
在你的浏览器内运行。首次需联网下载 Python；支持标准库和 Pyodide 提供的 NumPy、pandas 等包。行情抓取、系统文件访问和部分第三方库请在本地环境运行。输出自检仅比对结果关键词，不代替逻辑审查。
Python · 独立工作线程 · 执行限时10秒
🤖 AI导师
导师会先检查你的前置知识（Kaggle平台结构），再用案例、公式和代码帮助理解。此功能需要先启用服务。