MSN搜索减缓了Zealous RSS新闻机器人

MSN搜索减缓了Zealous RSS新闻机器人

在搜索引擎杂志上，我们Zui近注意到我们的带宽出现了一些奇怪的增长，也许MSN Search的这个新公告可能与它有关。似乎MSN对来自各种新闻网站和博客的RSS文件的搜索非常活跃。显然，根据搜索引擎观察和Jeremy Zawondy的说法，MSN正在测试一个博客和RSS搜索机器人，它已经“有点过度活跃。”

RSS的黑暗面是，一旦网站通过聚合器，网站和新闻机器人体验高水平的基于RSS的综合症＆ndash;站点带宽成为一个主要问题。 RSS源的传播越多，使用的带宽就越多。如果某个站点没有意识到或准备好进行如此高的使用率和高带宽传输，则该站点可能会超出其托管限制或加载缓慢。

MSN已经收到一些批评他们过度焦虑的RSS和博客机器人，并已经放慢了一点。从MSN搜索博客:＆ldquo;我们正在抓取RSS和我们想要确定的其他内容在我们的索引中始终是新鲜的。在这一点上，我们只是在试验并且足以说在我们的简短实验中我们已经学到了很多东西。我们在爬行时更加热心，然后我们会喜欢并且我们将要解决这个问题。＆rdquo;

Danny Sullivan指出MSNBot确实有将其减慢速度降低:的指令

当MSNBot抓取您的网站时，它通常不会每隔几秒钟尝试访问您的网站一次。如果MSNBot确定您的站点连接速度较慢，则会自动调整频率。要指定Zui小频率（以秒为单位），请使用robots.txt文件中的Crawl-delay参数:

用户代理: msnbotCrawl-delay: 120