遵循「先在 Mac Studio 跑几天看数据情况 -> 四阶抓全分 4 轮提升至 88.62% (>=85% 自我要求,R5 触及边际成本阈值 τ*=0.20 EU/百条止损) -> 发布至 145」全链路闭环
| 类型 | 编号与名称 | 影响规模与表现现象 | 依赖关系 / 根治算子与所属轮次 |
|---|---|---|---|
| 内生根因 RC-1 | 30 项公报标准指标真值库未挂载 | 影响 26,891 行 (91.84%);旧版仅挂载 GDP 与增速 2 项指标,导致其余 30 项全部标 MISSING_FIELD | 在 R1(宏观6项) + R2(人口5项) + R3(行业8项) 分三轮挂载 31 省与广东 21 市公报真值矩阵 |
| 内生根因 RC-2 | 网页 UTF-8 / Latin-1 编码乱码与模板噪点 | 省政府门户无 charset 头导致标题乱码 (如 深化...),阻断正则数值提取 | 在 R1 实装 repair_mojibake_text 字节逆向解码器,100% 还原中文标题与数值 |
| 内生根因 RC-3 | 黑/吉/赣3省与广东13地市 6位区划码漏配 | 影响 5,016 行 (17.13%) 被误判为 000000 (NATIONAL),导致按省市关联公报真值失配 | 在 R1 补齐 31 省 + 广东 21 地市全量 6 位码 (230000/220000/360000/440500 等) |
| 内生根因 RC-4 | 11 项二阶派生计算指标无法从单页直接抓取 | 区位商 LQ (A02.03.01~03)、结构变化 (A02.04.01~04) 属公式合成指标,网页无现成数字 | 在 R4 调用 R1~R3 一阶底数执行二阶数学公式实时合成,实现 32/32 指标全覆盖 |
| 内生根因 RC-5 | 量纲列 unit 被可比性标签污染 | 原表将 🟣 分子分母同口径齐备可比(Q18) 塞入 unit 列,丢失物理量纲 | 在 R1~R4 实装 get_standard_unit,100% 还原为 亿元/万人/%/元/家/LQ指数 |
| 前置依赖 DEP-1 | 6位行政区划码 (GB/T 2260) 先行归一依赖 | 若 region_code 未归一,R1~R4 的省市指标矩阵无法按 (region_code, indicator_code) JOIN | R1 第一步前置解除:5,016 行错漏区划码 100% 归正,支撑后续全部轮次 |
| 前置依赖 DEP-2 | 一阶基础指标对二阶派生指标的数据血缘依赖 | 区位商 $LQ_{ij} = (E_{ij}/E_j)/(E_{in}/E_n)$ 强依赖地区/全国 GDP、就业与分行业规模先行落盘 | R4 强依赖 R1+R2+R3:必须待 R1~R3 封印完成后方可启动 R4 合成 |
| 外部依赖 DEP-3 | 信源反爬与可信度过滤依赖 (防假数污染) | BOSS直聘安全验证页、智联招聘登录墙、HTTP 412 拦截页无正文内容 | 严禁在拦截页强贴公报数,诚实归入 R5 并标注触发边际成本阈值暂停 |
| 外部依赖 DEP-4 | 地方统计局统计年鉴发布周期依赖 | 部分地市细分行业长尾指标在初步公报未单列,依赖下半年统计年鉴公布 | 由 S1 launchd 每 3600s 周期调度器持续巡检增量补齐 |
| 外部依赖 DEP-5 | 商业金融终端 API License 与高匿代理池依赖 | Wind/Choice/企查查/爱企查/智联/BOSS 等 15 个商业源 (3,330 行, 11.38%) 需付费授权 | 触发 R5 边际成本阈值熔断:MC=3.85 EU/百条 >> τ*=0.20 EU/百条 (超标 19 倍),审慎暂停 |