抓取、索引和排名是搜索引擎处理页面的三个先后环节。抓取是搜索引擎发现并读取页面内容;索引是把读到的内容分析、存储进可供检索的数据库;排名是用户搜索时,搜索引擎从已索引内容中挑选并排序结果。判断问题出在哪一环,是时间和人手有限时最该先做的事:没被抓取,改标题没用;没被索引,优化内容也没用;已被索引却不理想,才轮到排名层面的工作。
要查的是页面是否被搜索引擎请求过、返回状态是否正常。可用服务器访问日志筛选搜索引擎的抓取记录,或使用搜索引擎提供的站长验证工具查看抓取统计。查的时候关注三件事:有没有抓取记录、返回码是否为 200、抓取频率是否长期为零。如果日志里完全没有该页面的抓取记录,说明问题在发现和抓取环节,优先检查内链是否指向它、robots.txt 是否误屏蔽、服务器是否拒绝访问。如果有抓取记录但返回 404 或 5xx,先修状态码,不要急着改内容。
要查的是页面能否被搜索到,以及是否被判定为可索引。用站内搜索指令加页面标题或完整网址,看是否出现该页面;再用站长工具查看该网址的索引状态和“已发现但未索引”之类的提示。结果分三种:能搜到,说明已索引,可进入排名排查;显示已发现但未索引,说明抓取到了但搜索引擎认为不值得收录,优先检查内容是否与站内其他页面高度重复、是否有足够独特价值;显示被 robots 或 noindex 排除,说明是主动或误配置阻断,先改配置再等重新处理。索引状态会变化,不要只看一次就下结论,隔几天复查一次更可靠。
要查的是目标查询下页面出现在第几页、是否有其他页面替代它出现。用无痕窗口搜索目标词,记录实际出现的网址;再用站长工具查看该查询的展示次数、点击次数和平均排名。如果目标页面已索引但完全不出现,而站内另一篇内容出现在该词下,说明存在页面竞争,应合并或调整内链指向;如果展示量低,说明该查询本身搜索需求小或页面主题匹配度弱;如果展示量高但点击低,问题在标题和摘要的吸引力,而不是抓取或索引。排名波动是常态,单日数据不足以作为决策依据。
假设一个页面在日志里有抓取记录、返回 200,但站内搜索始终搜不到,站长工具显示“已发现但未索引”。此时可判断问题在索引环节,优先检查该页是否与站内其他页面内容高度相似,或正文是否过少。解决索引后再观察排名,比一开始就堆关键词更省时间。
下一步:挑一个你关心的页面,按上面四步走一遍,把结论写在纸上——是抓取问题、索引问题,还是排名问题。确定环节后,只处理这一环,不要同时改标题、内容和外链。