改版或迁移时,网站收录提交工具不是先提交就完事,而应先核对旧地址的处置、新地址的可抓取性、站点地图与robots.txt的一致性,以及提交后如何验证。核心判断是:如果旧URL必须保留可达,优先做301并保留旧路径映射;如果旧URL整体废弃,才考虑移除或返回410。两种方案的适用条件不同,不能混用。
提交动作的交付结果不是“提交成功”页面,而是搜索引擎能稳定抓取新页面、旧地址不会把用户和爬虫引向错误内容。核对时至少看四项:
这里要区分“可能原因”和“已经定位的原因”。例如新页面未收录,可能是抓取预算不足、内链缺失、内容重复或提交地址错误;只有逐项核查后,才能确定是哪一项造成。
适用条件是旧页面仍有外链、用户收藏或搜索流量,且新旧内容存在一一对应关系。执行步骤:
判断结果:如果旧URL返回301、新URL返回200、页面内容对应,说明映射基本成立。若旧URL返回302或200但内容已变,则不符合迁移预期,需要修正。
适用条件是旧栏目、旧产品线不再存在,且没有可对应的新页面。此时可让旧URL返回410,或在确认无价值后返回404。不要用robots.txt屏蔽来代替索引移除:robots.txt限制抓取,不等于可靠的索引移除,已收录地址仍可能出现在结果中。
执行时核对:
判断结果:旧URL返回410或404、不再被内链引用、站点地图已清理,才算完成。若只是从界面删除记录,服务器仍返回200,则不算移除。
无论选哪种方案,迁移前应准备:旧URL清单、新URL清单、映射关系表、服务器或CDN配置权限、站点地图生成权限、robots.txt修改权限。任务至少包括配置跳转或状态码、更新内链、更新站点地图、提交新地址、复查日志。责任要落到具体执行人,验收则由另一人按清单复核,避免同一人既改又验。
一个假设例子:某站点把 /old-a 迁移到 /new-a。若配置301后,请求 /old-a 返回301且Location为 /new-a,同时 /new-a 返回200,站点地图只含 /new-a,则验收通过。若 /old-a 返回200且内容为空,则说明迁移未完成。
HTTPS只说明传输层加密,不保证安全无漏洞或排名;站点地图不保证收录;不同搜索引擎对提交工具和状态码的支持情况须分别核查。提交后应查看抓取统计和索引状态,而不是只看提交回执。
先列出旧URL与新URL的映射表,再决定哪些做301、哪些返回410;随后检查robots.txt和站点地图,最后分别用直接请求和抓取工具验证状态码与最终地址。