阶段3概率与分布●●●●●

Rank标准化：把"形状"问题一笔勾销

我的掌握程度：

q-240精讲

先掌握这个答案

Rank标准化：把值替换为它在横截面中的分位数排名（0~1），rank(pct=True)一行实现。核心取舍：保留「顺序」、放弃「幅度」——PE 5与PE 15的巨大差异被压成「排名差0.3」。性质：①彻底免疫极值（9999排第一，与第二名98无幅度差）；②任何分布→均匀分布（后续等权分组天然均衡）；③破坏线性关系——回归前慎用（除非你就要秩相关）。偏爱它的场景：Spearman IC（秩相关，q-426）、分层回测（按rank分组，q-431）、机器学习树模型输入（树只看顺序不看幅度！）。

先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。

从理解到使用

预处理也是研究的一部分

记录截面日期、股票池、行业版本与缺失规则。用于预测的统计量只能由当时可得样本或训练集估计；标准化不自动消除行业、市值暴露，中性化也不证明剩余信号有Alpha。

本阶段实战方法 · 每个统计量都要带单位和假设

计算收益、波动、回归、显著性或相关性时，先明确样本和推断条件。

写清收益频率、样本数、缺失处理、是否含费用；百分数与小数不可混用。
手算一组小样本，再用代码复算；区分算术均值年化、复合年化和年化波动。
解释假设不成立会发生什么：自相关、肥尾、非平稳与多次试验都会影响结论。

使用边界

p值不是原假设为真的概率，也不是策略未来盈利概率。
日波动×√252依赖时间聚合假设；252是教学常用交易日数，实际市场与口径可能不同。

不懂的术语：IC（信息系数）分层回测（Quantile Backtest / Layered Test）回测（Backtest）

背景 · 从一个困惑说起

Z-score标准化后，PE因子依然是右偏的长尾形状（少数极端高值拖着尾巴）；而Rank（排名）变换后，任何列都变成均匀分布的0~1——形状差异被彻底抹平。什么时候这是魔法，什么时候是浪费？

由此产生的问题

Rank标准化的定义与性质？它与Z-score的信息取舍（幅度vs顺序）？为什么Spearman相关与分层检验天然偏爱Rank？

核心概念

为什么需要它

①稳健性的极致：横截面因子的"极端值+偏态"两大麻烦一次解决——实务默认RankIC而非普通IC的深层原因；②与树模型的天然契约：LightGBM按阈值分裂=只消费顺序——rank后喂树无损且加速训练稳定；③信息损失自觉：当「幅度即信号」（如换手率的异常倍数）时rank会扔掉关键信息——选择变换=对因子性质的判断。

实际应用场景

标准组合拳：横截面rank→等距分10组（分层回测）；rank→加权合成（等权合成各因子的rank值）；保留双版本（raw+zscore+rank三列）在因子表里，按下游用途取用。

与之前知识的联系

q-239的Z-score保留幅度、本题的Rank只保顺序——标准化光谱的两端；q-238的去极值对rank是多余预处理（排名天然免疫）但对zscore是必需——流水线顺序由此定；q-426/431的RankIC与分层是它的主场。

⚠ 常见误解

rank后还能做线性回归：线性关系已被破坏（均匀分布vs原分布非线性映射）——回归请用zscore版，rank版用于相关与分组
rank总比zscore好：丢幅度是真实代价——「异动幅度」类因子（放量倍数）的幅度本身就是信号，rank会削弱它
rank了就不用去极值：正确（免疫）；但rank前仍要做缺失值与停牌处理——顺序对"谁在场"依然敏感

🤖 AI导师

导师会先检查你的前置知识（Z-score、分位数、Winsorize），再用案例、公式和代码帮助理解。此功能需要先启用服务。