改版或迁移时,用死链工具核对的重点不是“有没有404”,而是旧地址被处理成了哪种状态:是301跳转到新地址,还是直接返回404/410,还是被robots.txt挡住。核对顺序建议是:先导出旧站URL清单,再逐条确认HTTP状态码和跳转目标,最后检查新站内链、站点地图和robots.txt是否与处理方案一致。只盯着死链数量,很容易把该保留的跳转误判成可删除的死链。
死链工具通常按“非200状态码”或“连续抓取失败”来标记问题,它并不判断这个旧地址是否还有外部链接、是否承担过权重传递、是否有用户收藏。改版后出现404,可能是三种完全不同的情况:
把第二种和第三种当成第一种处理,就会直接损失本可保留的入口。所以核对前要先区分“已经定位的原因”和“可能原因”:工具报错只是现象,必须回到服务器响应和跳转链路去确认。
适用条件是旧页面有明确的新对应页,且内容主题基本一致。例如旧地址是 /old-category/a.html,新站对应 /category/a/,就应把前者301到后者,而不是全部跳到首页。
核对时按下面步骤执行:
判断结果:如果旧URL返回301,最终落在200且内容相关,这条就算处理正确。如果返回302,迁移场景下通常应改为301,除非只是临时调整。
适用条件是旧页面确实没有对应内容,也没有必要保留入口。例如已下线的活动页、临时专题页。此时返回404可以接受,410语义更明确,但不同搜索引擎对410的支持和响应速度需要分别核查,不能假定一定更快移除。
核对时要额外看两点:
注意:用robots.txt屏蔽旧URL不等于索引移除。robots.txt只是限制抓取,已经收录的地址可能仍会出现在结果里,也无法通过抓取看到404状态。要移除索引,应让页面可被抓取并返回404/410,或使用各搜索引擎提供的移除工具分别处理。
死链工具只覆盖链接层面,改版迁移还需同步核对以下项目:
/Page/ 与 /page/、带斜杠与不带斜杠可能被视为不同地址,需统一跳转规则。判断依据可以简化为一条:旧地址有没有“最接近的新地址”。有,就301过去;没有,且内容不再提供,就返回404/410并确保不被站点地图引用;如果只是暂时不想被抓,先确认是否真的需要屏蔽,不要用robots.txt掩盖跳转缺失。
下一步:从死链工具导出旧URL清单,按“有对应新页”“无对应新页”“被robots.txt屏蔽”三列分类,再逐条验证状态码和跳转目标,而不是直接批量删除报错地址。