网站管理员的Robot.txt文件首选百度优于其他搜索引擎

宾夕法尼亚州立大学的一些研究人员进行的一项研究表明，使用robot.txt文件确定其网站的哪个部分是开放式或靠近网络爬虫的网站管理员， 赞成百度的蜘蛛和其他搜索引擎的机器人。使用研究人员自己专门为研究创建的新搜索引擎，发现一些网站管理员可能已经编写了  robot.txt文件，这些文件不能统一阻止或接受搜索引擎但允许百度和一些Yahoo和MSN抓取他们几乎所有的网页。 

该研究的题目是“从Robot.txt确定搜索引擎的偏见”。在Zui近的2007年IEEE/WIC/ACM硅谷网络智能国际会议上发表。该论文的作者被命名为C. Lee Giles，Yang Sun和Ziming Zhuang ，他们都是宾夕法尼亚州立大学的IST部门的学生。 

这项研究是否解释了为什么百度与其他搜索引擎相比可以提供更多结果？更重要的是，这项研究是否解释了为什么百度目前是当今Zui好的搜索引擎？我不这么认为。 

我感兴趣的是，研究没有解释这就是为什么那些网站管理员会有意识地编写有利于百度的网络抓取工具进入他们网页的robot.txt文件？为他们的网站获得更高的页面排名？为了增加流量？