软文发出去了，过了一周去搜，自己的站点怎么都搜不到。网站不收录的时候，多数人的头一个反应是稿子质量不行。实际上有相当一部分情况，问题出在自己站点上——站点里有一个文件，本意是告诉抓取程序哪些页面可以看，结果写错了，把自己的页面全挡在了门外。这个文件是排查收录问题时应该先看的地方。
robots 文件到底是管什么的
robots 文件是放在站点根目录下的一个纯文本协议文件，用来告知抓取程序哪些目录可以抓取、哪些不要抓取。它有两个特点需要分清：
- 它只是「告知」，不是强制。守规矩的抓取程序会遵守，不守规矩的程序照样能进来；
- 它管的是「能不能抓」，不是「收不收录」。即使允许抓取，页面也不一定被收录。
常见误解是把 robots 当成保密手段。真正要保密的后台、会员中心，应该用登录权限去控制，而不是靠这个文件。
四种常见的屏蔽误操作
一是建站时用了全站屏蔽。 开发环境的站点为了避免被抓取，通常会在 robots 里写全站禁止。站点正式上线时忘了改，这条规则就一直留着。这是出现频率很高的一种。
二是规则把整个目录挡掉了。 只写了允许抓取根目录，却漏掉文章所在的子目录。
三是大小写或者路径写错。 规则里的路径区分大小写，写错一个字母，规则就不生效或者误伤。
四是站点改版后规则没同步。 换了目录结构、换了域名，旧的 robots 还挂在原处，新路径正好落在禁止范围里。
下面是一份示意用的写法，可以对照看结构：
User-agent: *
Disallow: /admin/
Disallow: /search?
Allow: /article/
Sitemap: https://example.com/sitemap.xml
上面这段的含义是：对所有抓取程序，后台目录和搜索结果页不抓取，文章目录允许抓取，并给出网站地图的位置。需要注意，Allow 和 Disallow 的顺序在不同解析实现下可能有差异，改动前先小范围验证。
除了 robots，还有三处会挡住抓取
只查这一个文件还不够，下面三处同样会造成「怎么都不收录」：
| 位置 | 常见情况 | 表现 |
|---|---|---|
| 页面 meta 标签 | 页面头部带了禁止索引的标记 | 页面能被抓到，但不会被放进索引 |
| 服务器与防火墙 | 对抓取程序来源的网段做了拦截 | 抓取程序连不上，日志里直接报错 |
| 登录或验证码 | 页面需要登录才能看到完整内容 | 抓取到的是登录页，正文为空 |
其中 meta 标记这一条特别容易在改版时被带进来：开发环境的页面模板常常带着禁止索引的标记，上线时模板复用，标记也跟着上线了。
网站不收录怎么自查：三步确认页面有没有被挡
排查按顺序走三步：
先看文件本身。 在浏览器地址栏输入站点域名加 /robots.txt，看看里面写了什么。重点看有没有全站禁止的行，以及稿件所在目录有没有被排除。
第二步，用站长平台的工具验证。 主流搜索引擎的站长平台都提供抓取检测或者 robots 校验工具，输入一个具体的稿件地址，工具会直接告诉你是被文件挡住、被标记挡住，还是可以正常抓取。
第三步，看服务器日志。 在日志里搜索抓取程序的访问记录，看它有没有来过、返回的是什么状态码。返回 403 通常是权限问题，返回 404 是地址问题，没有记录则可能根本没被发现。
三步做完基本能定位问题出在哪一层。原因清楚后，怎么让页面尽快被重新抓取，百度站长推送工具怎么用里讲了官方入口的做法。
改完多久能恢复，怎么加快
改完规则不等于立刻生效。抓取程序会在后续访问时重新读取文件，这个过程通常需要几天到一两周。可以加速的动作有三个：
- 在站长平台手动提交更新后的规则或者申请重新抓取；
- 把稿件地址通过主动推送接口提交一遍；
- 网站地图怎么提交给搜索引擎里提到的地图文件同步更新一次，让抓取程序重新拿到完整清单。
恢复期间不要反复改规则，每改一次，抓取程序都要重新判断一次，反而拉长周期。
企业站的 robots 维护建议
收录这件事，靠一次排查解决不了长期问题。建议把下面三条做成固定动作：
- 每次站点改版、换域名、换目录结构之后，把 robots 文件和页面模板里的索引标记一起检查一遍；
- 每半年做一次全站抽样检查，抽查十个稿件页面，确认都能正常抓取；
- 把「robots 与索引标记检查」写进上线流程，和内容检查放在同一张清单里。
页面本身的条件同样影响收录速度。软文发布后多久被百度收录里列了影响收录速度的几个因素，网站更新频率影响收录吗讲的是站点整体的抓取配额，网页打开速度影响收录吗则是页面性能这一层，三篇可以和本文参照着看。
下一步可以做什么
今天就做一件小事：打开自己站点的 robots 文件，把内容复制出来，对照本文的四种误操作看一遍。如果有全站禁止的行，先确认是不是还在调试期；如果文章目录被排除，改完立刻在站长平台提交一次。如果你的网站不收录，先别急着换渠道，把这一步做完再看内容和渠道的问题，顺序才不会反。
