如何轻松分析和翻译任何Robots.txt文件

我已经分享了我对各种各样的Robots.txt检查器和验证器:的意见，但要注意它们，但要谨慎使用。它们充满了错误和误解。

然而，前几天偶然遇到了一个非常好的: robots.txt检查器。我发现首先用于自我教育是有用的。

考虑到原始的1994年文件“机器人排除标准”，1997年互联网草案规范“网络机器人控制方法”和多年来出现的非标准扩展，已经完成了检查。

该工具允许运行常规检查和用户代理特定分析:

该工具做得很好“翻译”。 Robots.txt文件易于理解。

这里是一个解释默认Robots.txt文件:

空Disallow指令允许

该工具还擅长组织Robots.txt文件，将其分为基于useragent:的部分

该工具会警告您一些基本问题，例如搜索引擎在Disallow指令中处理通配符的方式:

总而言之，我找到了工具基本但足够有用，并建议将它用于学习Robots.txt语法以便于数据组织。