先把“页数”和“对象数”当成两个独立计数:报告页数只说明你手上有多少条记录或多少次导出,实际对象数量才是去重后的唯一词条数。两者不一致通常来自同一对象被拆成多条、不同对象的名称被合并,或分页导出时重复抓取了边界行。缺少完整数据或权限时,仍可执行的最小动作是:只针对你手头这一份资料,按“唯一标识”排序并标记重复,先得到可核对的去重清单,而不是直接修改原始报告。
拿一份具体的百度指数查询导出结果,先看三个位置:对象名称列、时间范围列、以及每页首尾行。常见情况有三类。第一类是同一对象出现多次,例如同一词条因分页或多次导出被重复写入,名称完全相同,只有行号不同。第二类是同一对象写法不同,例如全称与简称、带空格与不带空格、繁简混用,肉眼像两个对象,实际指向同一个查询对象。第三类是多个对象被压成一条,例如报告按分类汇总,一行里包含多个词条,这时页数会少于对象数。
判断依据不是页数多少,而是名称列能否稳定对应到唯一对象。如果名称列本身没有唯一标识,就不能仅凭页数推断对象数量,也不能把去重后的行数当作完整对象总量。
以你手中这一份资料为对象,按下面顺序处理,不需要完整权限也能完成前半段。
假设你有一份 120 行的导出,名称列去空格后有 96 个不同写法,其中 18 组是相邻重复。抽样回查发现 12 组是同一对象重复导出,6 组是简称与全称并存。此时可先合并 12 组重复,得到 108 行;剩下 6 组需要人工确认是否指向同一对象,不能直接删除。这个例子只说明比较方法,不代表任何真实报告的数据规模。
如果你只有报告页数,没有原始对象清单,去重只能做到“这份资料内部不重复”,不能推出该查询对象的全量数量。同理,导出请求量下降、抓取记录归零或某页为空,也不能单独证明去重正确,它们还可能是权限范围变化、时间窗口不同、分页边界重复或筛选条件被改动造成的。遇到这些现象,先记录当前筛选条件和导出时间,再决定是否重新取数。
另一个容易误判的点是:把去重后的行数直接当成百度指数查询的对象总量。只有当你的导出范围覆盖了全部目标对象、且名称列能唯一对应对象时,这个数字才接近总量;否则它只是当前资料的去重结果。
去重清单完成后,按用途分两路处理。若用于内部核对,保留原始行号、整理后名称、疑似重复标记三列,交给需要复核的人。若用于后续查询或比对,先冻结一份“唯一对象清单”,再以这份清单为输入重新取数;重新取数后如果页数再次变化,用同一套名称整理规则再比对一次,而不是直接覆盖旧清单。
需要核对具体品牌工具当前是否提供去重、导出上限或接口能力时,以该工具页面上的实际说明为准,不要依据旧版界面或他人描述推断。对于没有提供现状依据的工具,只能按通用方法评估:看它是否允许导出原始行、是否保留行号、是否支持按名称排序。这三项决定了你能否在缺少完整权限时仍然完成可复核的去重。
按这个顺序处理,你得到的不是一个人为压低的页数,而是一份能说明“哪些行是同一对象、哪些行还需要确认”的去重清单,后续查询或复核才有稳定依据。