如何书写正确网站的robots.txt文件

robots文件：搜索引擎协议(通俗的说就是告诉蜘蛛网站哪里可以抓，哪些网址不可以抓取)

robots文件的书写一般是告诉搜索引擎哪些网站不要抓取，需要抓取的网站，不用加进去。

disallow：定义禁止抓取收录地址;

allow：定义可以抓取的地址。

user-agent：(定义搜索引擎类型) 例如：user-agent： *(代表任何搜索引擎都可以搜索)如果只想让百度搜索，那就在把*换成baiduspider。我们一般是都用*。(ps：记住在：后面一定要加上空格。)

网站的路径出现/t /s /4 /?就会被屏蔽，不被搜索引擎抓取。例如：http：www.abc.com/thread。这样的路径就会被屏蔽，不被抓取。

我们要区别一下两个常见的区别：disallow： /4 和disallow：/4/ 后者比前者更精确。

注意事项：

⑴ 空格键

⑵/

⑶：

⑷：大小写