📍 WDQWDWQD987AAAAA:216.73.216.54
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /c34d9960b5b5.html
📄

提高转化率技巧 - 怎样判断采集是否遗漏

判断采集是否遗漏，核心不是看采集总量够不够大，而是把“已采集集合”与“应采集集合”做差集比对。先定义清楚应采集范围，再抽样或全量核对缺口，最后确认缺口是来源限制、规则错误还是去重误伤。下面用一个假设例子说明完整步骤。

假设例子：一次商品页采集的遗漏诊断

假设你要采集某类目下所有商品详情页，目标来源是站内分类页加搜索列表。你已入库 800 条，但运营反馈“有些商品从没出现过”。这时不要直接加大采集频率，先做三件事：

1. 固定一份应采集清单：从分类页和分页链接中手动导出全部商品链接，记为集合 A。
2. 导出已采集链接：从数据库取出去重后的原始 URL，记为集合 B。
3. 计算差集 A−B：差集就是遗漏候选，逐条打开确认是否真实存在且可访问。

如果差集里大量链接其实已采集，只是 URL 参数不同（如带排序参数、带来源标记），那问题在归一化，不在漏采。如果差集里链接打开是 404 或需登录，那属于来源限制，应单独归类，不计入规则遗漏。

两种处理方案的适用条件

面对遗漏，常见两种处理方案：补采差集，或重跑全量。二者适用条件不同。

• 补采差集：适用于遗漏比例低、来源结构稳定、差集链接可独立访问。优点是成本低、见效快；风险是如果遗漏由分页规则错误引起，补采只能补当前这一批，下一批仍会漏。
• 重跑全量：适用于分页逻辑、URL 规则或去重策略刚改过，或遗漏比例高、无法确认差集完整性。优点是能验证整条链路；风险是耗时、可能触发来源限制，且需要处理重复数据。

判断依据可以看两个检查项：一是遗漏是否集中在特定分页区间或特定参数，二是同一规则下连续多批是否都出现同类缺口。若两者都成立，优先修规则再重跑；若只是零星缺口，补采更合适。

常见错误与核查清单

诊断采集遗漏时，以下错误会让结论失真：

• 把“采集失败日志”当成全部遗漏，忽略从未进入队列的链接。
• 用去重后的数量对比来源总数，导致重复链接被误算成缺口。
• 未区分动态加载内容与静态 HTML，把未渲染出的链接当成不存在。
• 只看单次结果，不对比多批次，无法判断是偶发还是规则性遗漏。

可执行核查清单：确认应采集范围定义；导出已采集原始 URL；做 URL 归一化后再比对；对差集逐条标注“可访问未采”“不可访问”“重复”“需登录”；按标注结果决定补采还是改规则。每一步都保留原始记录，便于复查。

下一步

先为当前采集任务写一份“应采集范围定义”，再用一次差集比对验证它是否准确。范围定义不清，后续任何补采或重跑都无法判断是否真正补全。