robots.txt是网站seo优化中起着很重要的作用，robots.txt是搜索引擎访问网站时需要查看的第一个文件，搜索引擎蜘蛛来到一个站点，首先要检查站点根目录下是否存在robots.txt，如果有，就会按照该文件中的内容确定访问范围，如果该文件不存在就会随意抓取，可能会抓到到重复路径或错误页面。下面苏州网络公司就和大家说说rotbots.txt写法 ，希望对大家有所帮助。

robots.txt写法举例：
1、阻止全部搜索引擎访问网站的任何部门，也便是是阻止全部引擎收录你的网站。
User-agent: *
Disallow: /

2、容许全部的搜索引擎访问你的网站的任何部门，这是通常的用法。
User-agent: *
Disallow:
大概
User-agent: *
Allow: /

3、要是你网站的某个目录不想被搜索引擎收录，写法如下：
User-agent: *
Disallow: /目录名称1/
Disallow: /目录名称2/
Disallow: /目录名称3/
过细：不能写成Disallow: /目录名称1/ /目录名称2/ 这样的情势，每个目录要单独另起一行特别阐明。

4、仅仅容许某一搜索引擎访问你的网站。同样百度是baiduspider Google是googlebot
User-agent: baiduspider
Allow:

User-agent: googlebot
Allow:

5、仅克制某一搜索引擎访问你的网站。 Google是googlebot 百度是baiduspider
User-agent: baiduspider
Disallow: /

User-agent: googlebot
Disallow: /

6、阻止搜索引擎访问网站中全部的动态页面（动态页面便是URL中任何带有“？”的页面）

User-agent: *
Disallow: /*?*

7、仅仅容许搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Allow: .后缀形式（如.html、.htm、.php等等）$
Disallow: /

8、容许搜索引擎访问特定目录中的网页
User-agent: *
Allow: /目录1/目录2（容许访问目录2中的网页）
Allow: /目录3/目录4（容许访问目录4中的网页）
Allow: /目录5/目录6（容许访问目录6中的网页）
Disallow: /目录1/
Disallow: /目录3/
Disallow: /目录5/

9、限定搜索引擎访问某一特定文件后缀形式的网页。
User-agent: *
Disallow: /*.后缀形式（如.html、.htm、.php等等）

10、阻止搜索擎访问网站特定某一文件格式的文件（注意不是网页）
User-agent: *
Disallow: /*.（文件格局：如gif、jpg等等）$

以上是一些常用的格式。具体的写法还要以各个网站需求而定。