友情链接检测：怎样判断采集是否遗漏
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /bd576fae103a.html
📄
友情链接检测：怎样判断采集是否遗漏
判断友情链接检测是否遗漏，核心不是看“采到多少条”，而是核对三个口径：页面实际存在的链接、采集器抓到的链接、以及去重和过滤后保留的链接。三者对不上，遗漏就发生在对应环节。下面这份清单按顺序执行，每一步都给出检查对象、操作方法和结果判断。
先固定检测范围，避免口径漂移
要查什么：本次检测覆盖哪些页面、哪些位置、哪段时间的链接。
怎么查：列出目标页面的完整URL清单，标注每个页面的链接可能出现的区域，例如正文、侧栏、页脚、友情链接专页。用浏览器打开页面，手动记录每个区域里指向外部站点的链接。
结果说明什么：如果采集范围只包含首页，而链接实际放在内页或独立友链页，遗漏属于范围设定问题，不是采集器故障。范围一旦固定，后续所有对比都以这份清单为基准。
对比原始HTML与渲染后DOM
要查什么：链接是写在初始HTML里，还是由脚本动态插入。
怎么查：对同一页面分别查看源代码和开发者工具中的最终DOM。在源代码中搜索 <a 标签，再用元素检查器查看友情链接区域。
结果说明什么：源代码中没有、DOM中有，说明链接依赖JavaScript渲染。只抓初始HTML的采集方式会漏掉这类链接；此时需要改用能执行脚本的抓取方式，或把该页面单独列入人工核对名单。源代码和DOM都有，却仍未采到，问题更可能出在解析规则或过滤条件上。
逐项核对解析与过滤规则
要查什么：采集器的链接提取规则和排除规则是否误伤正常链接。
怎么查：取一条确认存在的友链，检查它是否满足提取条件，例如是否在指定容器内、是否为绝对地址、是否被 nofollow 标记。再检查排除规则，看是否按域名、路径关键词或链接文字做了过滤。
结果说明什么：链接存在但被排除规则命中，属于规则误伤；链接是相对地址而提取规则只认绝对地址，属于格式处理缺失；链接带 nofollow 而被整体丢弃，则要确认业务上是否本就要求排除。每一种都要记录命中的具体规则，而不是笼统归为“采集不全”。
用抽样回查验证去重与合并逻辑
要查什么：去重是否把不同页面上的同一链接错误合并，或把同一链接的不同写法当成两条。
怎么查：从采集结果中随机抽取若干条，回到页面确认其真实出处；再从页面中随机抽取若干条，回到结果中确认是否存在。对比时统一链接写法，例如是否带协议、是否带末尾斜杠、是否带跟踪参数。
结果说明什么：页面有、结果无，属于漏采；结果有、页面无，属于误采；同一链接因写法不同出现多条，说明归一化不足；不同页面的同一链接只剩一条，说明去重粒度过粗，丢失了位置信息。抽样要覆盖首页、内页和友链专页，不能只查一类页面。
把遗漏定位到具体环节
按以下顺序判断，可以快速缩小原因范围：
- 页面手动可见，源代码中也有，结果中没有——检查解析规则和过滤条件。
- 页面手动可见，源代码中没有，DOM中有——检查是否支持脚本渲染。
- 页面手动可见，但链接位于图片、按钮或框架中——检查提取规则是否覆盖该形式。
- 结果中存在但页面已找不到——检查页面是否改版、链接是否被移除，以及采集时间与核对时间是否一致。
- 同一链接重复或丢失位置——检查归一化和去重逻辑。
需要强调的是，上述现象各自可能有多种解释，只有拿到对应证据后才能下结论。例如“结果中没有”既可能是漏采，也可能是该链接本就不在本次检测范围内。
下一步：选一个已知存在友链的页面，按“范围清单—源代码与DOM对比—规则核对—抽样回查”走完一遍，把每个环节的差异记录下来。差异集中在哪一步，就优先修正那一步的配置，而不是直接扩大采集量。
