抓取、索引和排名是搜索流程中三个先后不同、判定方式也不同的环节。抓取是搜索引擎发现并读取页面;索引是判断页面是否值得收录、能否作为候选结果;排名是在已有候选结果中决定谁排在前面。一个页面“没被抓取”和“被抓取但没被索引”以及“已索引但排名很低”,需要采取的动作完全不同。
抓取解决“搜索引擎有没有来过、有没有读到内容”。它关心的是链接路径、robots 规则、服务器响应和页面可访问性。索引解决“读到的内容有没有被收录、能不能参与展示”。它关心的是内容质量、重复程度、页面价值和规范化信号。排名解决“进入候选池之后排在第几”。它关心的是查询意图匹配、内容相关性、页面体验和站内整体可信度。把这三件事混在一起,最常见的错误是:排名不好就反复提交网址,而真正的问题可能是页面根本没被索引,或者被索引了但内容与查询意图不符。
不要凭感觉判断,按下面顺序查,每一步都能缩小范围:
site: 加具体网址)或搜索平台的页面索引状态,确认该网址是否出现在索引中。注意:site: 的结果是近似值,不能当作精确收录数,只能作为方向参考。判断结果可以这样读:完全没有抓取记录,属于抓取环节问题;有抓取记录但长期不在索引中,属于索引环节问题;已在索引中但目标词没有位置,属于排名环节问题。三种情况对应的处理代价也不同——修抓取通常最快,修索引需要内容或结构层面的调整,修排名往往周期最长。
实际工作中经常要在“先解决收录”和“先优化排名”之间做选择。可以用下面的条件来判断:
如果页面既没被索引、排名也无从谈起,应先做索引,再做排名,顺序不能颠倒。反过来,如果页面已被索引却反复提交网址,基本不会改变排名结果,只是浪费操作时间。
假设某产品页上线两周,目标词没有任何排名。按以下步骤走:先确认服务器日志中该网址是否被抓取;再确认它是否出现在索引中;最后才检查该词下的竞争页面与自身内容的相关度。假设排查结果是“有抓取、未被索引”,那么下一步应检查内容是否与站内其他页面高度重复、是否有明确的规范化设置、是否有足够的内链指向它。假设结果是“已被索引、排名在很后面”,那么下一步应比较目标查询下已有结果的共同特征,调整内容覆盖范围和标题表达,而不是继续提交网址。这里的排查顺序是通用的,具体界面和字段名称会随搜索平台变化,应以自己实际使用的平台当前说明为准。
挑一个你关心的页面,按“抓取记录 → 索引状态 → 目标词位置”三步各查一次,把结果写在同一个表格里。哪一步出现断点,就先处理那一步,不要跳步操作。