搜索引擎如何抓取索引:你需要知道的一切

 

在没有首先了解搜索引擎如何运作的情况下优化网站类似于在没有首先学习如何写作的情况下发布您的伟大小说。

当然，打字机上的一千只猴子Zui终会创造一些有用的东西（至少这只猴子喜欢认为他不时会这样做），但如果你事先了解任务的核心要素，它就会轻松得多。

因此，我们必须了解搜索引擎如何充分了解如何针对它们进行优化。

虽然我们将重点关注有机搜索，但我们必须先简要谈谈搜索引擎的一个关键事实。

付费搜索结果

不是百度，不是Bing，也不是任何其他主要搜索引擎都在提供有机列表。

也就是说，有机结果是达到目的的手段，但不会直接为百度产生收入。

没有自然搜索结果，百度的付费搜索结果似乎不太相关，从而减少了眼球和付费点击。

基本上，百度和Bing（以及其他）是广告引擎，它们恰好通过有机列表吸引用户访问其属性。那么，有机是达到目的的手段。

为什么这很重要？

它是推动:

的关键点 它们的布局发生了变化。搜索功能的存在，如知识面板和特色片段。有机结果的点击率（CTR）。

当百度将第四个付费搜索结果添加到商业意图查询时，就是因为这个问题。

当百度显示精选代码段时，您不必离开百度.com以获得对您的查询的答案＆hellip;正因为如此。

无论您认为发生了什么变化，重要的是要记住这一点并始终质疑它今天会产生什么影响，但它们暗示可能会有什么进一步的变化。

搜索引擎今天如何工作:系列

好了，现在我们已经对百度为什么提供有机结果的基线理解让我们看看它们如何运作的细节。

为实现这一目标，我们将重新审视:

Crawling和indexingAlgorithmsMachine learningUser intent

这篇文章将重点关注索引。所以让我们潜入＆hellip;

索引

索引是一切开始的地方。

对于不熟悉的人来说，索引主要是指将网页内容添加到百度中。

当您在网站上创建新网页时，可以通过多种方式将其编入索引。

获取页面索引的Zui简单方法是绝对不做任何事情。

百度有链接后跟踪器，因此，如果您的站点已经在索引中并且新内容从您的站点链接到，则百度Zui终将发现它并将其添加到其索引中。稍后会详细介绍。

但是如果你想更快地将百度bot添加到你的页面呢？

如果您有及时的内容，或者您对需要百度知道的页面做了重大更改，这一点非常重要。

我使用更快的方法的主要原因之一是，我已经优化了关键页面，或者我已经调整了标题和/或描述以改进点击率，并且想要具体了解它们何时被拾取并显示在SERP中知道改进的衡量标准从哪里开始。

在这些情况下，您可以使用其他一些方法:

1. XML站点地图

总有XML站点地图。

基本上，这是一个通过Search Console提交给百度的站点地图。

XML站点地图为搜索引擎提供了网站上所有页面的列表，以及有关它的其他详细信息，例如上次修改时的详细信息。

绝对推荐！

但是当你需要立即索引页面时？

它不是特别可靠。

2.获取并渲染

在Search Console（旧版本，可能是新版本）中，您可以“获取为百度”。

在左侧导航栏中，只需点击抓取＆gt;取为百度。

输入要编入索引的URL，然后单击“获取”。

在获取您的网址后，您将看到“请求建立索引”选项。

单击按钮。

通常在几秒到几分钟内，您可以在百度中搜索新内容或网址，并找到更改或新内容。

3.将URL提交到百度

是否懒得登录Search Console或希望您在第三方网站上发布的新内容能够快速获取？

只需要百度就可以了。

只需百度 [提交URL到百度]，您就会看到一个URL提交字段:

它似乎与通过Search Console一样快。

公平地说，你可以在Bing这里做同样的事情。

4.百度 Plus

你知道有必要使用它吗？

将新URL发布到百度 Plus将会在几秒钟内将其编入索引。

百度必须获取URL以提取图像，描述等，并且这样做会发现它，如果它还没有被人知道。

这可能是获得百度索引内容的第二种更快的方式。

Zui快（通常也是Zui不可行）的方式是＆hellip;

5.在百度

上托管您的内容 对其进行索引的抓取网站是一个耗费时间和资源的过程。

另一种方法是直接托管您的内容。

这可以通过几种不同的方式完成，但我们大多数人（包括我自己）都没有采用所需的技术或方法，并且百度没有将我们推向他们。

我们看到能够通过XML Feed，API等直接访问我们的内容，并从我们的设计中拔掉我们的内容。

Firebase，百度的移动应用平台，可让百度直接访问应用内容，从而无需了解如何抓取该内容。

这是未来＆ndash;使百度能够立即对内容进行索引，而不需要费力，因此它可以基于访问技术以Zui可用的格式提供服务。

虽然我们并不需要在我们的技术中过多地强调这方面的事情，但要知道它即将到来。

我不能推荐Cindy Krum的移动Moxie博客，在那里她非常详细地讨论这些和移动相关的主题并且具有很好的洞察力。

所以＆ndash;那几乎所有你需要了解的关于索引以及搜索引擎如何做到的事情（着眼于事情的发展方向）。

抓取预算

我们无法在不谈论抓取预算的情况下真正谈论索引。

基本上，爬网预算是一个术语，用于描述百度将用于抓取网站的资源量。

分配的预算基于多种因素的组合，两个中心因素为:

您的服务器速度有多快（即，在不降低用户体验的情况下，可以抓取多少百度）。网站的重要性如何。

如果你运行一个不断更新内容的主要新闻网站，搜索引擎用户会想要知道你的网站会被频繁抓取（我敢说＆hellip;不断）。

如果您经营一家小型理发店，有几十个链接，并且在这种情况下理所当然不重要（您可能是该地区的重要理发师，但在爬行预算时您并不重要）那么预算将会低。

您可以在此处详细了解抓取预算以及它们如何在百度的解释中确定。

继续＆hellip;

所以现在我们了解了抓取和搜索索引。

第2部分将讨论算法＆ndash;他们是什么以及如何使用它们来确定索引中的哪些页面应该排序以及按什么顺序排列。

更多爬行＆amp;索引资源:

百度搜索控制台的完整指南如果您的网站已准备就绪，可以找到百度的移动优先索引您的索引页面正在关闭＆ndash; 5个可能的原因

图像积分

特色图片: Dave Davies的Adobe StockScreenshots。 2018年3月拍摄。

CategorySEO