测试爬网可以发现隐藏的SEO危险的三种方法

 

在11月份，我写了一篇文章，解释了一行代码如何破坏你的搜索引擎优化。 它强调了这样一个事实，即有时隐藏的危险可能会扼杀你的SEO努力。 此外，它还解释了如何彻底的审计可以揭示这些问题，并使您的网站重新走上SEO的道路。 好吧，我回来了一篇关于审计和SEO小精灵的新帖子。 作为这篇文章的一部分，我将包括有关我Zui喜欢的工具之一的信息（我已经使用了很长时间的工具＆ndash; Xenu Link Sleuth）。

在这篇文章中，我将在审核网站时解释测试爬网的强大功能。 你可以通过抓取一个网站来学习很多东西，我将专注于使用像Xenu这样的工具可以发现的三个隐患。 由于信息是可操作的，因此在爬网完成后您可能正在运行到开发团队。

Xenu Link Sleuth＆ndash;自由，简单，强大

我将专注于Xenu Link Sleuth来运行测试爬行，虽然Screaming Frog是您可以尝试的另一种解决方案（但它是一种付费解决方案）。 我多年来一直在使用Xenu，它是一个很好的工具，用于搜索网站。 有很多信息Xenu返回，包括状态代码，服务器错误，入站链接，外部链接，页面元数据等. 作为审核网站过程的一部分，运行一个网站总是一个好主意测试爬行。 你永远不会知道你会发现什么。

请注意，这篇文章并不是一本涵盖其所有功能的深度Xenu教程。 相反，我的目标是向您展示在测试爬行期间可能发现的三件可能会损害您的SEO工作的事情。 让我们来看看Xenu在您的网站上发布后可以找到的内容。

3 SEO危险Xenu可以发现: 1.服务器错误

有时我会在中型到大型站点上运行Xenu，报告会返回数百（或数千）个服务器错误。 你可以想象，让百度bot遇到成千上万的服务器错误并不是件好事。 疯狂的部分是客户经常不知道这种情况正在发生，而且对于较大的网站尤其如此。

此外，有时服务器错误发生在客户端甚至不知道存在的页面上。 困惑？ 他们也是。 在Zui近的一次审计中，使用的CMS基于故障动态构建URL＆rsquo; s。 这些URL引发了服务器错误。 并且百度bot也找到了它们。 不好。

2. 404＆＃s>

如果您不熟悉标题响应代码，则404会出现“找不到页面”的情况。对于SEO，你想要追捕404＆rsquo; s有几个重要原因。 例如，您网站上的强大页面是否会丢弃404＆rsquo; s？ 为什么会这样？ 如果他们投掷404＆rsquo;你会失去多少搜索资产？ 搜索引擎将从其索引中删除404页面，您可能会丢失指向这些页面的有价值的入站链接。 正如你可以想象的那样，纠正那些404不应该是404的页面是SEO的重要任务。

另一方面，如果网页被正确删除（并抛出404＆rsquo; s），那么你要做的Zui后一件事就是将百度bot驱动到“找不到页面”＆rdquo;通过您自己的内部链接结构。 这会浪费您网站上的链接（并且它对可用性也不利）。 使用Xenu，您可以在报告中轻松查看404＆rsquo，导出该报告，然后与开发人员一起修复导航问题。

3.奇怪（和可能危险）的出境链接

让我们在一分钟内关注一个更加险恶的问题。 不幸的是，黑客不断尝试渗透网站，CMS包等，以使自己的网站（或客户网站）受益。

这是一个简单的问题。 您是否知道从您的网站链接到的所有页面？ 你100％肯定你知道吗？ 你在犹豫吗？ ?

特别是对于较大的站点，追踪所有出站链接并不是一项简单的任务。 如果您的服务器或CMS软件包被渗透，并且出站链接被注入您的网站，则很难在短时间内手动查找这些链接（如果您甚至有幸知道这种情况正在发生）。

有时我会进行测试爬行，并找到一些疯狂的出站链接到不太理想的网站。 正如你猜测的那样，它们包含丰富的锚文本，可以提高这些网站的排名。 更糟糕的是，一些网站所有者不知道这是怎么回事。  Xenu可以获取这些外部链接并提供您可以分析的报告。

摘要＆ndash;爬行动作

在网站上运行测试爬网是一项明智的任务，需要定期完成。 像Xenu这样的工具可以发现一些可操作的发现，而且成本非常低。 找到这些简单但具有破坏性的问题可以帮助网站管理员改善其网站的SEO健康状况。 而这正是搜索引擎优化审计的目标。

同样，我只是介绍了一些可以从测试爬行中收集的见解。 今天亲自尝试一下。 正如我之前提到的，你永远不会知道你将要找到什么。

CategorySEO