百度bot抓取预算由百度的Gary Illyes解释

 

＆ldquo;抓取预算＆rdquo;这是一个被SEO抛弃的术语，没有明确的含义。事实上，百度本身并没有一个术语来定义爬行预算代表什么。

它的装载术语由很多活动部件组成。这就是为什么加里·伊利斯（Gary Illyes），一位百度网站管理员趋势分析师，汇集了一个相当冗长的解释器，说明了什么是爬行预算以及它对百度bot意味着什么。

以下是Illyes＆rsquo的要点摘要。制品

抓取预算说明

抓取速度限制 当百度bot抓取一个站点时，它可以进行一定数量的同时连接，并设置它在提取之间必须等待的时间长度。这被称为“抓取速度限制”，并且每个网站的限制都是唯一的。

爬网速率限制由两个因素定义。第一个是爬网健康，这意味着如果站点快速响应百度bot可以使用更多连接。如果网站开始因过多爬网而变慢，那么百度bot将使用更少的连接，因此它不会降低用户体验。

第二个因素是Search Console＆mdash;网站所有者可以使用Search Console在“网站设置”部分中手动设置抓取速度限制。

抓取需求 如果首先没有来自索引的需求，则抓取速率限制可以忽略不计。低需求等于百度bot的低活动。爬行需求受到两个看似相反的因素，流行度和陈旧性的影响。百度希望在其索引中保持流行内容的新鲜感，同时防止旧内容变得陈旧。

抓取需求也可能受到网站移动等网站范围事件的影响，因为百度bot必须重新索引新网址，因此会触发需求增加。

爬网率和抓取需求的组合为爬行预算提供了更清晰的定义，Illyes解释的是“百度bot可以和想要抓取的URL数量。”

影响抓取预算的因素 为了让您的网站保持Zui佳抓取预算，Illyes建议不要在低价值添加网址上浪费资源，因为这些网址可能会使抓取活动远离您的高质量内容。

Illyes将低值添加URL定义为:

分面导航和会话标识符现场重复内容软错误页面黑客页面无限空间和代理低质量和垃圾邮件内容

有关抓取预算的其他说明

网站越快，抓取速度越高。在Search Console中监控抓取错误报告并将服务器错误降至Zui低。抓取不是排名因素备用网址，AMP网址，嵌入内容和长重定向链会对抓取预算产生负面影响。标记为nofollow的页面仍然可以被抓取，因此不会影响抓取预算。类别新闻