百度授予Anchor Text Link Crawling专利
百度最近获得了美国政府的专利,该公司最初于2003年提交了该专利。URL管理器确定何时以及是否将此类重定向URL分配给机器人以进行爬网。BillSlawski的帖子:百度锚文本和不同的爬行率专利专利:锚标记索引在一个网络爬虫系统类别中
百度Zui近获得了美国政府的专利,该公司Zui初于2003年提交了该专利。该专利由SEA撰写的SEO的Bill Slawski撰写,探讨了百度如何(不总是必须使用专利)使用锚文本链接对页面进行排名和分类,百度比其他网站更频繁地抓取某些网站,以及搜索引擎如何处理使用不同于自然链接的重定向的链接。
该专利中非常有趣的是百度如何形成链接文档的链接日志,该文档考虑了链接本身周围的文本:
URL文档是由机器人从URL获得并传递给内容过滤器的文档。每个链接记录都列出了与记录关联的URL文档中找到的所有链接(URL)的URL指纹,以及链接周围的文本。
例如,指向珠穆朗玛峰图片的链接可能会显示“要查看珠穆朗玛峰的图片,请单击此处。””锚文本可能是“点击此处””但附加文字“看珠穆朗玛峰的照片”。可以包含在链接记录中。
因此,确保您的入站链接是与目标URL页面上的信息相关的编辑部分的一部分的重要性,也许为什么行业中的某些SEO已经看到了全站链接的影响,而编辑链接可以更强大。
另一个有趣且非常及时的片段是URL重定向的处理,特别是在当前世界中,一天有好的linkbait,然后在下一天重定向到网站的主页。
处理永久和临时重定向的专利:
机器人不会遵循在他们被请求抓取的网址上找到的永久重定向,而是将重定向的源和目标(重定向)网址发送到内容过滤器。
内容过滤器使用重定向URL并将它们放在链接日志中,然后将它们传递回URL管理器。 URL管理器确定何时以及是否将此类重定向URL分配给机器人以进行爬网。机器人设置为遵循临时重定向,并从临时重定向获取页面信息。
Slawski先生概述了自雅虎的付费搜索投标专利以来Zui重要的一项专利,每位执业搜索营销人员都应深入研究Slawski的概述和原始专利申请。
Bill Slawski的帖子:百度锚文本和不同的爬行率专利专利:锚标记索引在一个网络爬虫系统类别中下一篇:YPN在丹佛机场提供WiFi广告