它将理解它可以访问所有内容并

基本上，它仅用于阻止其对营销活动 URL 进行索引并为列表提供一些帮助。这个功能肯定不会阻止机器人输入这样的URL 回到顶部 8) 7. 机器人定义中未包含的所有指令都将被忽略。 例如，众所周知的“爬行延迟”被忽略。理论上它应该记录机器人请求之间的时间，但它没有关注它，所以我们至少可以忘记这句话，至少对于谷歌来说（其他爬虫确实关注它）。 第三方发明的所有指令也将被忽略。 最后，以“#”开头的行也会被忽略，因为它们被理解为注释。





但是，它们确实计入最大文件大小，因此最好不要过度使用它们。评论建议：当我们处 乌克兰 电话号码 理多个项目或多个站点时，最好将上传版本中的注释作为评论包含在内： 回到顶部 9) 8. 当 Google 无法访问您的  文件或在访问您的  文件时发现奇怪的事情时，会发生什么情况？ 我们已经说过，文件始终在您域的路径中搜索。如果找不到它，您可以去更高的域级别查找它（如果存在）。






例如，如果在.txt中查找。 但现在让我们看看当他提出要求时会发生什么。当服务器收到对文件的请求时，它会返回一个响应代码，告诉蜘蛛是否找到了该文件。 代码“200”。这意味着该文件确实存在。然后你将阅读它并应用它的规则。如果它是空的或者没有“禁止”指示，将进入网站的厨房 “4xx”代码（四百四、四百一、四百三等...这意味着该文件不存在或未向公众开放。