您认为您有重复的内容问题？

内容重复。我们都知道。 已经写了无数的帖子，说明为什么它不好，如何避免它。 但也许你有一个重复的内容问题，甚至不知道它在那里。 或者您的重复内容问题比您意识到的要大。 这么大，它是史诗般的。

这是我Zui近在审核客户端网站时发现的。 我们不是在谈论跨多个站点复制的内容。不是刮刀网站，也不是ripoff网站。 一个站点。 原始和唯一的来源。 通过法医策略，我发现了问题究竟有多大。 史诗如何史诗般的秩序。

在这种情况下，我们谈论的是一个房地产网站。 覆盖了大片加利福尼亚州＆ndash;办公室遍布加州北部和南部。 2010年，房屋销售额达到了数千亿，为 美元。

网站:＆ndash;关键指标

每当我执行SEO审核时，我都会在百度上运行一个站点:检查作为我的第一个任务之一，并询问客户端他们真正拥有多少页面。 这只是为了了解网站当前索引的情况。 这个网站在我的初步检查中显示了86,000页索引。 除了＆rsquo; s真的只有大约15,000页。 哇真？ 哦，男孩＆hellip;

现在，运行网站:检查并显示比实际存在更少的页面并不罕见。 找到的页面的公开显示只是一个近似值，取决于网站索引的程度，百度在任何给定时刻的算法以及由于竞争因素导致的结果波动。

但这是一个相反的索引问题。 显示实际存在的页数的五倍多。 所以我回去开始检查网站，我的感觉完全警觉。

1999年被称为＆amp;想要它的编程方法返回

我发现在我的“那个＆rsquo;不正确”中引发了下一个铃声＆rdquo;过程发现他们已经拥有超过400个代理页面＆ndash;没有＆ndash;一个大型房地产网站有数百个代理页面并不奇怪。 当你到达任何一个页面时，下次当你点击主导航中的任何页面时，代理的ID就会卡在URL上。 主页链接不再进入主站点主页，而是返回到该代理的主页。

它是一种常见的编程方法＆ndash;在URL字符串中传递标识符。 除了我知道然后检查规范的URL标签＆ndash;看看这些是否被百度挑选为真实的“独特的”＆rdquo;页面，或者如果网站编码说“不要将此版本编入索引”，请执行此操作。

没有Canonical标签。 无处不在。

好的快速数学时间＆ndash; 15,000页＆ndash; 400个代理商。 那可能被索引的六百万页。 除了我只看到超过百分之一。 对现实而言仍然太多了。 然而不是“OMG”。可能是灾难。或者是吗？

法证搜索引擎优化策略

这里是我真正好奇的地方＆ndash;我是否真的需要通过所有这些结果来试图弄清楚到底发生了什么？ 没有＆ndash;不是我。 没办法。 没有。 相反，我让我的大脑咀嚼这个问题。

思想＆ndash;让我们首先搜索百度，看看是否有任何这些代理附加的URL实际出现。 果然，我手动尝试的每一个都在那里。

从那里，我执行了一个高级站点:检查。 在这些特定的URL中，有一系列字母用作变量标识符＆ndash;所以URL字符串中的XYZ之后的所有内容都是代理的唯一ID。 所以我的搜索看起来像这样:站点: www.Domain.com + XYZ

猜猜我发现了什么？ 不是60,000页（“超出范围”，从实际计数到“找到的页面”计数）。 我发现的是

找到509,000页

大。 很棒。

那到底是怎么回事？

更多测试。 这次，我在这些代理URL中使用不同的代码块运行它。 我得到了什么？

发现了120万页

哇。 这是一个完整的混乱。 我的第一个想法是＆ndash;怎么会存在这种完全疯狂的变化？

百度＆ndash; ＆ldquo;我们做得Zui好我们可以＆rdquo;

结果是问题是多层次的。 在任何给定时间，百度Bot都会尝试抓取该站点。 在某个时刻，它只是厌倦了探索一个网站，然后逃跑，继续前进到下一个闪亮的物体。 特别是当这些代理页面在链接链中有多个层时。 这意味着从那里链接的所有页面也都是“技术上”的。 （但不是真的）甚至在链接链中更进一步。

然后，即使其中一些页面Zui终出现在索引中，在某些时候，百度会看到“嘿，这个内容与所有其他内容完全相同。”＆rdquo;

尽管已经提出了索赔（感谢Matt！），并且“百度能够很好地解决问题”，但这是一个很好的例子，说明为什么这是一个不完美的系统。 基本上，在处理所有这些数据的过程中，系统会窒息。 在这种特殊情况下，甚至可能会有点bar。

但总的来说，考虑到超过一百万个“页面”的事实。他们实际上是在他们的索引中，他们能够将数量减少到数量级，降至86,000（仍然可笑的过度计算）页面范围。

足够好，不够好

所以百度的系统，没有进一步的指导，只能削减到86,000个寻呼机。 仍有70,000个页面被复制。 这意味着还存在一个很大的问题。

百度如何知道哪个版本Zui重要？ 各种搜索的前十几页结果中的大部分结果都是主站点版本，没有代理附件。 但不是全部。 对于某些短语，它是首先显示的所有代理页面。

这反过来意味着Zui重要的页面没有被赋予其全部价值。 大规模。

修复Ain并非如此简单

所以，你要对自己说＆ndash;只是拍打那里的规范标签。 问题解决了。

当然，这很重要。 除了＆rsquo; s仅对未来体验有益。 网站永远都是这样的。 你想成为那个确保301重定向被正确实现的人吗？ 好吧，如果你是一个REGEX天才，也许你愿意。 我，不是那么多。

然后需要（是的，这是一个需要）将整个站点重新编码为停止使用URL字符串。 因为我不关心百度说你需要的是规范标签。 因为不是每个搜索引擎或链接提供者（有意或无意）都在那。

甚至到百度，它只是“一个指标”。 这不是保证。

不，这里唯一适当的，Zui佳实践任务是删除所有这些URL参数。 只需使用cookie，就可以大声喊叫。

这意味着一些糟糕的代码猴子的编码噩梦。

还有更多的质量保证，以确保它真正做到了。整个网站上的 。

幸运的是，我不是必须编码的人。 但我是那个必须对其进行质量检查的人。 是的谢谢。 我将在这里蜷缩在一个胎儿球中。哭泣。 不受控制。 至少在我可以在Twitter上讨论这个过程之前。