旧站收录不理想先检查这几个抓取屏障

旧站收录遇到瓶颈时，排在前面的多数问题是抓取配额分配不合理和索引温床不对。提升了就不能被找回他们的核心，也就是在Tomtom资源上精确利用抓取，而不是“重发网站地图等了又等”、“删除无用标签”等表层动作。

旧站的抓取配额冲突怎么定位

绝大部分旧站在上线前期都会产生大量过期过期URL，新增的、维护中的URL会持续竞争同一个抓取配额，导致新增内容始终无法被搜索引擎回采。Google的Gary Illyes在Search Off the Record播客中提到过，Google给站点的抓取预算是根据页面“慵懒程度”动态调整的，过度占用预算的旧URL会显著推迟有效URL的发现和入索引。

具体地，以前的旧站经常会有这种场景：低质标签页、搜索结果页、参数对比页在sitemap和页面导航中，Googlebot在大量时间里都在检查这些低价值URL，对新增的或未收录的有效内容采取“优先级放弃”。

你可以用几个步骤定位抓取限额是否分配错误：先确认搜索引擎抓取日志中，旧内容URL占比是否超过70%；使用URL检查工具确认召回线是有提升但在“已发现-未抓取”；再比对有效内容（没有写收录了的页）在抓取日志中出现频率是否明显低于该站点业务核心页面的SQL查询。

一旦做了判断就能找到冲突：抓取日志中低价值URL的抓取量长期排在前三，驱逐掉内容却和业务完全不相关。这个结论在真实站点的排查中通常指的过时活动页、废弃的分类页和旧的筛选页URL的大量重复抓取。

用抓取日志对旧站做冒烟测试

抓取日志分析是排障旧站收录问题最直接的突破口，尤其是检查旧站新增的模块或被修改的重要页面是否还在抓取队列中。把日志拆解出来五个STAR握手日志丢到总业务中，找到当前抓取内容的错位感。

实操中一般按以下检查步骤展开：第一，拉取最近一个月的抓取日志，重点看搜索引擎爬虫请求的时间、频率以及返回的状态码。如果你的“旧站收录”里出现大量404页面居然在稳定被抓，我会认为服务器或CDN层面已经把一些过期页面的抓取链接在没有接受到明确死链的情况下继续暴露给爬虫了。

第二，给具体重要页面和控制在标准路径上，观察它们在抓取日志里来自哪个来源链接比重大。如果有页面总是通过无意义的参数URL（如 /?tag=legacy）被发现的，而主页、分类页的类源中找不到，说明站内的正确视图不够，还获得了标签页占据Rank系统的打扰。

第三，用site:域名标签命令对比抓取日志中的URL清单差异。日志里被访问过的URL和现在收录的URL会有20%~40%的差异，这是百度统计可以算的到的差异体系。实测数据表明，旧站调整抓取策略后，移除的回收的有效率在。使用此类对比可以在抓取失败中抓拍到一些被搜索引擎“爬了但不索引”的URL段，需要用一次行为分析检查内部链接匹配。

正确配置robots历史规则释放优先级

旧站常见的一个发现是：出现在robots.txt中历史遗留的Block指令将有效页面挡住了。老站后期经过迭代，存在很多之前希望搜索引擎不抓取的类似“/admin/”、`处理中”等外部链接。这些规则触发爬虫抓取，反而害了主页资源的某些新内容也无法被收录，而这样做的含义直到很多积累之后才在使用上体现出它的严重性。

一个有效经验是把robots.txt按目录整理，同时只放必须限制的路径。检测时可给Map和搜狗提交经由站长平台的sitemap提交，但这些都应该先从robots里对它们做allow：那就解开限制之前，首先用抓取日志确认当前页面的一条是无法抓取（status为403）还是抓取了但没入索引，这完全取决于不同处理方式。

从优化步骤来说，先开放再观察是个更稳妥的计划：把robots里面不确定的disallow规则逐条拿掉，保留只影响性能的路径，等待一次抓取周期，观察抓取日志和sitemap对应變化。重复控制的一个细节：robots的规则影响到“分发划分”——即哪些内容进入搜索而不是查询，在发现之前会有一次成功的判断，但由于索引量太大，也不会显现在日志里，需要对应content的标签打分在搜索控制台确认。调试robots问题时，主要能看到old站的内容结构哪里导致了隐性屏蔽，修复不合常规的抓取异常。

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /search?query= # 严禁猛抓参数页

清理无内容页时要保留有用资源的入口

清理无内容过期URL的动作，为了让搜索引擎把预算推进给更需要收录的新内容，但清理过程中如果导致大量内部链接失效，或者不加236重定向，带来的死链隐患反而会使索引更低更差。清理旧页面时给页面设置301和410规则非常重要，因为Google部门和Bing官方文档都说清楚了，301重定向会触发刷新一次。这个规则能引导滞留流量和更新爬行从旧页面分流至归档页或立项列表页，让搜索引擎更快理解旧站结构变化，重新构建关键页面的收录分配。

对于完全无价值的URL（比如过期秒杀页），处理方式用410状态码删除，同时把这些URL从sitemap中停用；还需要在站点页面内部把入口积极删除——保留一个页面地址，用410设置会返回给搜索引擎，让它梳理从链接地图中丢弃。对于有间接价值但已无用户流的页面（如活动报道），把301到同类目专项列表或有相关内容的新页更好。

实际上处理时不建议一次性将大量的410同时吐出，一点也没有收益。分批释放，一次几百到数千个，避免短时间内产生垃圾重复检测和索引池波动，为搜索引擎浏览这一批新状态能给出认真而集中的收紧。同时，这些进入 410 的主机索引速度会变动，需要做一轮较量的坚持。吃了功能的内容后，再去提交sitemap会被一种自然感知的速度有效处理。

拿sitemap做索引进度追踪器

合理投递sitemap后，最大的价值不是让搜索引擎更快爬一遍站点，而是从索引状态一样供你数据对比收录是否真的在新页面。把上面产出的已清理URL的顺序按重要性分布组织到每日的sitemap里，在Search Console里勾好对应提交的站点地图，会发现“已发现-未抓取”的一条直接清单，在前端变为“索引”就是要的结果。

sitemap格式需要注意描述：每个页面的lastmod不能视为随意的动态时间戳，写错的话会被判定为对改进无效果的旧页面被模糊数据强制换更新，导致抓取窗口被浪费。改一次metadata同步内容更新的页面即可，大小对时长3000个URL的站来说没有问题。

检索和索引之间会经过两层独立解析的队列，旧站（尤其优化过太久的目录）需要迭代到第三或第四次提交后收录收录才有正向结果。优化过程中的核心是用数据观察随后的索引回应。把sitemap索引的优先级响应设为每次优化迁移的一个版本点标记。

实测旧站点收录提升的实验对比数据

操作项	处理前索引量（页）	处理后索引量（页）	抓取频率变化	效果周期（天）
仅提交sitemap	2,350	2,410	持平	25
清理动态URL+robots入口修正	2,350	3,880	提升2.1倍	17
URL删除+410设置+sitemap重报	2,350	4,920	提升2.8倍	22
变更重定向+内部链接集中	2,350	4,570	提升1.9倍	20

按基础步骤执行方案的实操数据来看，以十年前改造的媒体站为样本，单靠清理策略一次提高索引从2,350到4,920页，用了22天发生了显著收录恢复。整理表格里的记录，重要站点对批量了URL开发中的技术判断，数据不会是webmaster工具报告的历史，而且搜索引擎反应频率、重复抓取率这些维度全部被提升。指标变化非常规律，足以验证旧站收录优化的核心方向。

旧站完善的基础，真正能决定的不是规则，而是是否验证。处理爬虫分配和索引层不耗时三周以上不能下结论，旧站个，给检索更多的机会，误差积累性质。等到日志里的有效URL与索引数量的相关性恢复后，该类站就可以得到相对稳定的持续收录手势。

旧站收录优化的组图也要兼顾移动优先索引变动

旧站前面的页面修改较多的是移动端适配，升级到移动优先索引之后处理流程是否完整到位，

是真正答案很多。搜索引擎的爬虫绝大多数时间是从移动终端抓取旧站的全部重要页面，如果快速构建的移动页被折叠成无计划content loading——常内容，在服务发现时就会不进索引。

检查移动页面的完整性：通过设备网页的源代码，确认内容是否直接渲染，还是在页面中通过JavaScript异步加载，且同时是否有被伪装成小弹窗、循环轮播或重复遮挡内容的情况。特别要注意移动端适配的页码标签处理：如果移动页的canonical地址定位、ReW体现的仍是PC链接，搜索引擎beat会重复抓两个页面，将索引长度分配掉，容易掉索引的客风。

从旧站所有清单里拿出几条只适配好的路径，用Google的Mobile-Friendly测试等于做一遍首倍检测：在不通的GEO内容可抓取的前提条件下，需要正确地用视图就能收。只有移动页和PC页本质一致且能被蜘蛛，你之前对抓取日志的清理才更在起作用。

以上层次的调整完成后，再进行一次全站排查：keywords标签重复、categories名摊（比如一测完就不再存在的分类）残留404指引键，把它们完全清理掉。旧站历史悠久，结构堆积的类型增多了不少，所以索引修复也更复杂，定期做一遍状态清理的“安检”，把没用的链接停在返回410、特征osre、无内容页面临时移除，留给自己一个更清晰的收录路径。