Bing使其搜索爬虫Bingbot更高效

Bing的搜索爬虫bingbot已经过改进，可以Zui大限度地提高抓取效率。

人们可能认为Bingbot类似于百度bot。它的工作是发现新的和更新的内容，并将其添加到Bing的索引。

Bing已经从网站管理员那里听到关于bingbot的一个问题是它不经常爬行。

由于没有足够频繁地抓取，一些网站所有者认为Bing的索引中的内容并非尽可能新鲜。

另一方面，网站所有者认为bingbot过于频繁地抓取，这会对网站资源造成限制。

Bing说这是一个尚未完全解决的工程问题。

关键问题是管理bingbot抓取网站所需的频率，以确保新的和更新的内容包含在搜索索引中。

Bingbot还必须满足网站所有者的要求。一些网站管理员要求每天抓取他们的网站，尽管大多数网站管理员都希望在添加新网址或更新内容时仅抓取他们的网站。

＆ldquo;我们面临的挑战是如何根据网站管理员对其特定网站的需求，添加或更新内容的频率以及如何大规模地执行此操作来对bingbot算法进行建模。＆lt;“

Bing使用称为抓取效率的指标衡量bingbot的智能，这是Bing抓取并发现每页抓取的新鲜内容的频率。

理想情况下，bingbot仅在内容首次添加到Web时，或者使用新鲜有用的内容更新URL时才会抓取URL。

当bingbot抓取重复和/或未更改的内容时，抓取效率会降低。

Bing说它在过去几个月里提高了bingbot的抓取效率。

对于网站所有者来说，这意味着他们新的和更新的内容应该出现在Bing的索引中及时。

此外，由于Bingbot抓取重复内容或自上次抓取以来未被更改的内容，网站资源不应受到限制。