雅虎推出全新搜索机器人 - 雅虎! Slurp
Slurp能够抓取动态链接或动态生成的文档。Slurp爬虫从Web收集文档,使用Yahoo!为搜索服务构建可搜索的索引。Slurp将提供缓存索引并遵循noarchive元标记。Slurp将检索文档,但不会缓存或存档文档以供在PageCache系统中使用。Slurp也遵守noindex元标记。它让所有主要功能在统一品牌保护伞下的所有主要功能更加统一。
雅虎刚刚从其搜索功能中删除了百度搜索结果,并将其替换为雅虎自己的Inktomi搜索引擎 - 这将对百度造成一点打击,并显示出雅虎的潜在支配地位。
雅虎刚刚发布了一个新的网站索引机器人来抓取网络–雅虎思乐普
雅虎的新机器人与Inktomi Slurp爬虫保持着相似的名称,雅虎上列出的一些功能包括:
*雅虎! Slurp能够抓取动态链接或动态生成的文档。
*雅虎! Slurp爬虫从Web收集文档,使用Yahoo!为搜索服务构建可搜索的索引。搜索引擎(这有助于验证Inktomi很快就会添加到Yahoo搜索结果中)。这些文档被抓取,因为Web上的其他文档包含指向这些文档的链接。
*雅虎! Slurp从您的Yahoo!网站爬行搜索引擎立即。这些文件将在不久的将来编入索引并包含在搜索数据库中。
*雅虎! Slurp将提供缓存索引(类似于百度)并遵循noarchive元标记。如果您放置: META NAME=” robots” CONTENT=”的无存档”的在您的网络文档的头部,雅虎! Slurp将检索文档,但不会缓存或存档文档以供在PageCache系统中使用。
*雅虎! Slurp也遵守noindex元标记。如果您放置: META NAME=” robots” CONTENT=”的NOINDEX”的在您的网站负责人,雅虎! Slurp将检索文档,但不会将文档编入索引或将其放在搜索引擎的数据库中。
去年,雅虎宣布他们计划在2004年第一季度对Inktomi的结果进行转换,这为他们提供了大约40天的时间来实现这一目标。此外,很高兴看到Slurp机器人和搜索功能都是雅虎的品牌。
它让所有主要功能在统一品牌保护伞下的所有主要功能更加统一。 of Yahoooo!
在您的服务器日志中看到Yahoo Slurp?你怎么看?发表评论。
CategorySEO