robots.txt写法大全和robots.txt语法的作用1如果允许所有搜索引擎访问网站的所有部分的话我们可以建立一个空白的文本文档，命名为robots.txt放在网站的根目录下即可。robots.txt写法如下：User-agent:*Disallow:或者User-agent:*Allow:/2如果我们禁止所有搜索引擎访问网站的所有部分的话robots.txt写法如下：