先给出结论:多数情况下不是工具有问题,而是同一对象在报告里以多种形式重复出现。你需要先确定“一个对象”的判定标准,再做标准化与合并,最后用抽样核对验证。下面以你手里的一份导出表或报告页为对象,逐步说明怎么处理。
报告里的页数通常统计的是记录条数,而实际对象数量统计的是唯一实体数量,两者口径不同,差值大是正常的。常见的重复来源有四类:
判断依据不是差值本身,而是看这些行是否指向同一个可访问的资源。如果两行最终打开的是同一份内容,就应该合并;如果内容确实不同,即使路径相似也要保留。
以你导出的表格为例,假设它有一列是对象地址。按下面的顺序处理,每一步都会改变下一步的判断:
如果做完这四步两者仍不一致,说明重复不在地址层面,而在对象定义层面,需要进入下一步。
很多人已经做过删除重复值,但报告页数仍大于实际对象数。遗漏条件通常是:去重发生在错误的层级上。表格里一行可能代表“对象加关键词”或“对象加日期”的组合,而不是一个对象。此时删除重复行只能去掉完全相同的组合,无法把同一对象的多个组合合并。
验证方法是:取少量差异行,看除地址外还有哪一列在变化。如果变化的列是关键词、日期、设备或来源,那么真正的唯一键应该是地址,而不是整行。把统计层级从整行改到地址列,数量就会接近实际对象数。
假设一份导出表有 100 行、80 个唯一地址,其中 20 行是同一批地址在不同日期下的记录。按整行去重得到 100,按地址去重得到 80。这个比较只用于说明层级差异,不代表任何工具的实际数据。
去重不是简单删除,而是决定保留哪条记录。可按以下优先级取舍:
合并后必须抽样核对:从被合并的组里随机取若干组,逐组打开确认它们确实是同一对象。如果发现被错误合并,说明标准化规则过严,需要放宽参数或路径的处理条件。这个动作的结果直接决定你能否把这份数据用于后续判断。
可用的信号是:报告页数与实际对象数的差值能逐条解释清楚,而不是靠一个比例掩盖。把剩余差异按原因归类,例如重定向、参数变体、多语言版本。如果每一类都能说明为什么保留或合并,这份数据就可以进入下一步使用。
如果差异仍无法解释,不要继续在表格里反复去重,而应回到对象定义本身,确认你要统计的究竟是页面、地址还是内容单元。定义不清时,任何去重都只是把问题往后推。