当百度收录情况查询显示首页或栏目入口已被收录,而更深的详情、分页或筛选页长期不出现时,先不要把它当成“整站没被收录”。更合理的判断是:抓取或索引链路在某一层发生了中断。定位断点的关键动作,是从一个已知被收录的入口出发,逐层核对链接是否可被抓取、内容是否可被渲染、以及被收录页面是否真实对应目标 URL。
假设某站点首页在百度收录情况查询中可见,一级栏目页也可见,但商品详情页始终查不到。此时有三种常见解释:详情页链接未被发现、被发现但抓取失败、抓取成功但未进入索引。三者对应的处理动作完全不同,所以不能只凭“查不到”就改配置。
可以取一个入口栏目页,记录它到详情页的链接形式,再取一个详情页 URL,分别检查:该 URL 是否出现在栏目页的 HTML 链接中、是否被 robots.txt 允许抓取、返回状态码是否为 200、以及页面主体内容是否依赖 JavaScript 才出现。这个记录过程本身就是后续判断的依据。
不同原因会留下不同痕迹,可以按下面的对照来缩小范围:
需要强调的是,robots.txt 中的抓取限制不等于可靠的索引移除。即使某条规则挡住了抓取,已存在的索引也可能保留一段时间,因此不能用 robots.txt 的改动来推断深层页面一定被移除或一定被收录。站点地图也不保证收录,它只提供发现线索,不能替代链接和内容层面的检查。
取一个入口栏目页,在禁用 JavaScript 的条件下查看其 HTML 源码,搜索目标详情页 URL 是否以可点击链接形式存在。这个动作的结果会直接决定下一步:
这样做的好处是,每一步都能排除一类解释,而不是同时改动多个配置后无法判断哪一项起了作用。百度收录情况查询的结果在修复后可能不会立即变化,因此需要用同一入口、同一检查方法做前后对照,而不是凭单次查询下结论。
如果确认断点在渲染层,可以选择服务端渲染或预渲染来输出可读正文;如果断点在链接发现层,可以选择在栏目页增加静态分页链接或相关推荐链接。两种选择成立的条件不同:前者适用于内容本身依赖脚本、且希望被稳定读取的页面;后者适用于内容已可读、但入口太深或链接被脚本包裹的情况。
若同时存在多个问题,建议先修链接发现,再修渲染。原因是链接发现决定了目标 URL 是否能被持续找到,而渲染决定找到之后能否读到内容。顺序反过来时,即使正文可读,缺少稳定入口仍会让深层页面难以被持续发现。
最后,HTTPS 不保证安全无漏洞或排名,它只是传输层的一个条件,不应被当作深层链路失效的解释。判断断点时,仍要回到链接、响应和渲染这三类可核对证据上,逐层排除,直到找到那个让入口正常而深层失效的具体环节。