下载全市场日线的标准战役：从循环到面板
我的掌握程度：
先掌握这个答案
四步战役：①分批：股票列表分批处理（每批间sleep）——避免触发限频封禁；②续传：每只股票独立缓存文件（存在即跳过）——中断后从断点继续（q-321模板的放大版）；③失败清单：下载失败的代码记入failed.txt，战役末统一重试一轮——不让个别失败阻塞全局；④拼装：全部成功后读取所有单票文件→统一列名→加code列→concat成面板→存parquet（q-069）——单票CSV是过程、面板是资产。增量更新：上市后每天只拉最新一段（last_cached_date+1至今）追加进单票文件→每月重拼面板；失败重试与质检逻辑复用战役版。产出地位：这张面板（date×code×OHLCV）就是阶段5所有因子计算的原料——一次战役、终身受益（每月增量维护一次）。
先读结论，再核对下方使用边界；数字例题为教学情景，涉及实际行情与规则时请核对原始来源。
从理解到使用
本阶段实战方法 · 一条能复现的数据流水线
把接口返回的数据变成可用于因子研究的面板时，先处理时点、主键与单位。
- 建立数据字典：字段、单位、时区、交易日历、数据源、抓取时间、原始价与复权因子。
- 用(date, code)查重，区分停牌、未上市、窗口不足和真实缺失；不要用向后填充把未来值带回过去。
- 保存原始快照与清洗日志，固定随机种子和环境版本；接口字段变化时先核对官方文档。
使用边界
- 报告期不等于公告可用日，盘后公告通常不能用于当天收盘前决策。
- API输出名为“动态市盈率”时不能直接改名TTM；浏览器练习不支持任意原生库或行情抓取接口。
背景 · 从一个困惑说起
单只股票的下载你已熟练（q-321）；真正的战役是全市场——5000只×10年≈120万行。打这场仗需要的不是新知识而是工程组织：断点续传、失败清单、增量更新、最终拼装成面板。
由此产生的问题
全量下载的四步战役（分批/续传/质检/拼装）怎么组织？增量更新的设计（每日只拉新数据）？这场战役的产出如何成为阶段5的全部原料？
核心概念
四步战役：①分批：股票列表分批处理（每批间sleep）——避免触发限频封禁；②续传：每只股票独立缓存文件（存在即跳过）——中断后从断点继续（q-321模板的放大版）；③失败清单：下载失败的代码记入failed.txt，战役末统一重试一轮——不让个别失败阻塞全局；④拼装：全部成功后读取所有单票文件→统一列名→加code列→concat成面板→存parquet（q-069）——单票CSV是过程、面板是资产。增量更新：上市后每天只拉最新一段（last_cached_date+1至今）追加进单票文件→每月重拼面板；失败重试与质检逻辑复用战役版。产出地位：这张面板（date×code×OHLCV）就是阶段5所有因子计算的原料——一次战役、终身受益（每月增量维护一次）。
为什么需要它
①工程组织的入门仪式：研究能力的分水岭常不在算法在「能否可靠地组织一次大规模数据处理」——这场战役是最小完整演练；②资产化思维：散落的CSV是过程文件、面板parquet是资产——研究复利从资产化开始（快照与版本纪律q-359）；③失败清单的哲学：允许失败、记录失败、批量处理失败——比「追求一次全对」稳健得多（工程的世界观）。
实际应用场景
执行参数参考：全A日线10年≈1-3小时（含限速sleep）；建议夜间跑；产物面板约200MB parquet；README记录下载日期与源版本（快照纪律）。
与之前知识的联系
q-321（单票模板）的规模化；q-069（parquet）与q-359（快照）是它的出口纪律；产出的面板直接服务阶段5全部分子实操。
⚠ 常见误解
- 一把梭循环跑完就行：中途断网/限频=重来——独立缓存+续传是这场仗的胜负手
- 下载完就结束了：不拼面板不质检的散文件=没打完的仗——资产化(拼装+快照+README)才是终点
- 每次研究都重新下载：战役只打一次，之后走增量——重复下载是对限频与自己时间的双重浪费
🛠 本题实践任务
执行一次迷你战役：全市场或任一指数成分（≥300只）×5年，走完四步（含失败清单与战报README）。这是阶段4毕业项目数据部分的正式开工。
💡 提示（先自己想5分钟再看）
夜间跑；战报模板见example——它同时是q-400流水线答辩的第一页素材。
✅ 验收标准
一场带战报的战役（面板parquet+README+失败清单）。你的「粮仓」建成，阶段5随时开饭。
在你的浏览器内运行。首次需联网下载 Python；支持标准库和 Pyodide 提供的 NumPy、pandas 等包。行情抓取、系统文件访问和部分第三方库请在本地环境运行。输出自检仅比对结果关键词，不代替逻辑审查。
Python · 独立工作线程 · 执行限时10秒
🤖 AI导师
导师会先检查你的前置知识（缓存模板、复权口径、限频），再用案例、公式和代码帮助理解。此功能需要先启用服务。