Winsorize与MAD：驯服因子列里的"9999"
我的掌握程度：
先掌握这个答案
Winsorize（缩尾）：把超过上下边界的值「夹」到边界上（不是删除）。边界两流派：①分位数法：1%/99%（或5%/95%）分位——简单直观，行业默认；②MAD法：中位数±3×1.4826×MAD（MAD=绝对偏差的中位数）——抗污染：σ会被极端值本身抬高（9999把σ拉爆→3σ边界宽到放走异常值），MAD基于中位数免疫污染。截断比例权衡：截少了残余污染、截多了伤信息（尾部有时正是信号）——1%是稳健默认，做敏感性对照（0.5%/1%/5%三档）更专业。
先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。
从理解到使用
预处理也是研究的一部分
记录截面日期、股票池、行业版本与缺失规则。用于预测的统计量只能由当时可得样本或训练集估计；标准化不自动消除行业、市值暴露，中性化也不证明剩余信号有Alpha。
本阶段实战方法 · 每个统计量都要带单位和假设
计算收益、波动、回归、显著性或相关性时，先明确样本和推断条件。
- 写清收益频率、样本数、缺失处理、是否含费用；百分数与小数不可混用。
- 手算一组小样本，再用代码复算；区分算术均值年化、复合年化和年化波动。
- 解释假设不成立会发生什么：自相关、肥尾、非平稳与多次试验都会影响结论。
使用边界
- p值不是原假设为真的概率，也不是策略未来盈利概率。
- 日波动×√252依赖时间聚合假设；252是教学常用交易日数，实际市场与口径可能不同。
不懂的术语：因子（Factor）
背景 · 从一个困惑说起
PE列里躺着-38和9999、市值跨两个数量级、某个因子值突然是均值的一万倍——直接拿去做回归/标准化，整个横截面被极端值绑架。驯服它们是因子预处理的第一步（q-347三件套的第一件）。
由此产生的问题
Winsorize的标准做法是什么？为什么边界用MAD而不用3σ？截断比例（1%/5%）怎么选？
核心概念
Winsorize（缩尾）：把超过上下边界的值「夹」到边界上（不是删除）。边界两流派：①分位数法：1%/99%（或5%/95%）分位——简单直观，行业默认；②MAD法：中位数±3×1.4826×MAD（MAD=绝对偏差的中位数）——抗污染：σ会被极端值本身抬高（9999把σ拉爆→3σ边界宽到放走异常值），MAD基于中位数免疫污染。截断比例权衡：截少了残余污染、截多了伤信息（尾部有时正是信号）——1%是稳健默认，做敏感性对照（0.5%/1%/5%三档）更专业。
为什么需要它
①后续步骤的地基：标准化与回归系数都被极值主导——不清明则全乱；②抗污染的原理值得吃透：它和Robust统计（中位数/IQR家族）同源，是「数据里有敌情时的标准武器」；③截断vs删除：截面数据删除会改变股票池（引入偏差），夹住保留样本量——Winsorize是横截面场景的正确形态。
实际应用场景
一行代码：s.clip(lower, upper)；财务因子用MAD、量价因子常配合对数变换（先log再winsorize双保险）；边界值记录进因子档案（被夹比例>5%说明数据或逻辑有问题）。
与之前知识的联系
q-237的分位数是边界的原料；q-347（阶段4三件套）把本题纳入流水线；q-240（Rank标准化）是「彻底免疫极值」的另一条路——两条路的信息取舍不同。
⚠ 常见误解
- 去极值=删除异常值：删除改变样本构成（幸存者偏差微缩版）；Winsorize夹住边界——保留存在感、剥夺破坏力
- 用3σ就行：σ自己被极值污染——"让纵火犯决定消防预算"；MAD才是抗污染的边界
- 截断越狠越干净：5%截断已删掉10%的信息（上下各5%）；因子尾部常是信号（极端低估/高异动）——敏感性对照不可省
🛠 本题实践任务
对任一真实因子列（或含异常的模拟列）分别用3σ与MAD去极值，对比边界宽度与被夹比例；再用0.5%/1%/5%分位数法做敏感性对照。
💡 提示（先自己想5分钟再看）
被夹比例>3%时检查数据源或因子逻辑——去极值是治疗不是掩盖。
✅ 验收标准
三档方法的边界与被夹比例对照表。你的预处理工具箱第一件武器就位。
在你的浏览器内运行。首次需联网下载 Python；支持标准库和 Pyodide 提供的 NumPy、pandas 等包。行情抓取、系统文件访问和部分第三方库请在本地环境运行。输出自检仅比对结果关键词，不代替逻辑审查。
Python · 独立工作线程 · 执行限时10秒
🤖 AI导师
导师会先检查你的前置知识（分位数、标准差、中位数），再用案例、公式和代码帮助理解。此功能需要先启用服务。