百度抓取和索引的频率

在网站管理员视频群聊中，发布商询问如果百度添加了noindex nofollow，那么百度会从索引中删除多少页面。发布商表示他们已经添加了无索引但该页面保留在百度的索引中。百度的John Mueller回答了一个答案，该答案描述了某些页面被索引的频率。

John Mueller透露，URL以不同的速率被抓取。那个＆rsquo;有点了解。更令人感兴趣的是，他说一些网址可以每六个月抓一次。

出版商说明了:

＆ldquo;我们从很久以前就看到过那些东西，我们已经改变了noindex nofollow，但我们仍然在索引中看到它。这是在我们改变了这一点之后的几个月。“

约翰·穆勒回答了:

＆ldquo;我认为这里的难点在于我们不会一直以相同的频率抓取网址。因此，我们将每天抓取一些网址。有些网址可能每周一次其他网址每隔几个月，甚至可能每半年左右一次。

所以这是我们试图找到适当平衡的东西，这样我们就不会让你的服务器过载。

如果你在你的网站上做出了重大改变，那么很可能很快就会收到很多这些变化，但会有一些剩余的变化。

因此，特别是如果您执行网站查询等操作，那么您有可能会看到那些每半年被抓取一次的网址。他们将在几个月后仍然在那里。

那就是那种＆hellip;我们正常的时间来重新处理/重新抓取东西。所以它并不一定表明某些东西在技术上完全被打破了。

但它确实意味着，如果你认为这些网址根本不应该被编入索引，那么也许你可以回复一下并在这里说得很好＆rsquo;一个具有Zui后修改日期的站点地图文件，以便百度关闭并尝试加倍 - 检查这些比其他方式快一点。＆rdquo;

John Mueller建议更新站点地图，让百度bot发现Zui后修改日期，并使用它作为提示，以便它出去抓取旧网页。

John Mueller没有提到的是使用百度的URL检查工具。根据百度的网站管理员帮助页面重新编制索引， 提交Zui多可能需要一到两周。

如果您有一些需要重新抓取的个别网址，则网页检查工具非常有用。如果你有大量的网页，百度建议改为提交网站地图。

有关如何让百度重新抓取网址的更多信息，请点击此处https://support.百度.com/webmasters/answer/6065812

观看网站管理员环聊https://youtu.be/gC7aVygbMIk?t=2594

图片来自Shutterstock，由作者修改