在优化网站过程中，有一些场景中，我们是不想让蜘蛛来抓取网站内容的，比如：网站中重要及私密的内容、后台的数据、测试阶段的网站，这些都是我们不想展示给用户看的，所以就没必要让这些内容收录，就需要禁止蜘蛛抓取。网站建设★网站设计★网站制作★网页设计-800元全包;企业网络推广☆网站优化☆seo☆关键词排名☆百度快照-2200元全年展示;做网站优化排名-网站建设公司
创新互联公司是一家集网站建设,云安企业网站建设,云安品牌网站建设,网站定制,云安网站建设报价,网络营销,网络优化,云安网站推广为一体的创新建站企业，帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿，时刻以成就客户成长自我，坚持不断学习、思考、沉淀、净化自己，让我们为更多的企业打造出实用型网站。
另外还有一种情况，很多电子商务的网站，有很多通过条件去筛选、过滤的页面，这些页面通常没有什么意义，我们也不希望浪费蜘蛛的抓取份额，所以也要禁止蜘蛛的抓取。
如何禁止蜘蛛抓取特定的页面呢？
robots（蜘蛛协议）是其中一种方式，也是最常用的一种。
robots是一个纯文本文件，用于声明该网站中不想被蜘蛛访问的部分，或者指定蜘蛛抓取的部分。
当蜘蛛访问一个站点时，它会首先检查该站点是否存在robots.txt 文件，如果找到，蜘蛛就会按照该文件中的内容来确定抓取的范围；如果该文件不存在，那么蜘蛛就会沿着链接直接抓取。
即，只有在需要禁止抓取某些内容时，写robots.txt才有意义。
robots.txt 文件放置在一个站点的根目录下，而且文件名必须全部小写，正确的写法是robots.txt。
要查看某网站的robots.txt文件，在浏览器中输入的网址：
http:/www.xxx.com/robots.txt
其中www.xxx.com是要查询网站的域名。
一、robots.txt的语法
robots.txt文件的常用语法有3种，分别是User-agent、Allow、Disallow，下面讲解3种语法的具体用法。
(1) User-agent
指定robots.txt 中的规则针对哪个搜索引擎蜘蛛（每种搜索引擎的蜘蛛都不一样）。
针对所有搜索引擎蜘蛛的写法是User-agent:*，通配符*代表所有搜索引擎。只适用于百度蜘蛛的正确写法是User-agent:Baiduspider。不同的搜索引擎，其蜘蛛名称也不相同。
不同搜索引擎的蜘蛛名
(2 )Allow
允许搜索引擎蜘蛛抓取某些文件。例如允许蜘蛛访问网站中的/a/目录，正确写法是Allow: /a/。
$: 表示匹配URL结尾的字符。例如允许搜索引擎抓蜘蛛取以.htm为后缀的URL，写法是Allow:.htm$。
(3) Disallow
告诉搜索引擎不要抓取某些文件或目录。例如禁止蜘蛛抓取/admin/目录的写法是 Disallow:/admin/。
禁止的目录或文件必须分开写，每个一行，例如禁止所有的搜索引擎蜘蛛抓取/a/、/b/、/c/目录，正确的写法是：
User-agent:
Disallow:/a/
Disallow:/b/
Disallow:/c/
在网站优化中，SEOer需要熟练掌握robots.txt的基本语法。下面分享一些常见的robots.txt语法使用案例，如图所示。
二、robots.txt应用
robots.txt 文件的一个用法是在robots.txt 文件中指定 sitemap 的位置。具体的用法是 sitemap:http://www.matuzi.cn/sitemap.xml，这样就告诉搜索引擎蜘蛛这个页面是网站地图。
robots.txt 文件是搜索引擎蜘蛛进入网站后访问的第一个文件，在编写时确实有很多需要注意的地方，如果日常使用中不注意语法的正确使用，有些语句可能就发挥不了应有的作用，会影响搜索引擎蜘蛛对网站的访问，因此要正确编写。
对于SEOer来讲，在优化网站过程中，当发现网站中有隐私文件需要屏蔽搜索引擎蜘蛛抓取时，可以设置robots.txt 屏蔽搜索引擎蜘蛛抓取这些隐私文件。如果网站只是一般的企业展示网站，可以不添加robots.txt。
三、robots meta标签（更精准的禁止蜘蛛抓取）
如果搜索引擎已经收录网页，而这个网页是我们不想让搜索引擎收录的，robots.txt 文件解决不了这个问题，而robots meta标签却可以解决。
robots.txt 文件主要是限制整个站点或者目录的蜘蛛访问情况，而robots meta标签则主要是针对某个具体的页面。robots meta标签放在页面中，专门用来告诉搜索引擎蜘蛛如何抓取该页的内容。
robots meta标签的基本写法是：
(2）content部分有4个指令选项，以英文逗号“，”隔开，分别是：index、follow、noindex、nofollow。
● index指令告诉搜索引擎蜘蛛可以抓取该页面。
● noindex指令与index指令相反，表示搜索引擎蜘蛛不可以抓取该页面。
● follow 指令表示搜索引擎蜘蛛可以爬行该页面上的链接。
● nofolow指令与follow指令相反，表示搜索引擎蜘蛛不可以爬行该页面上的其他链接。
综上所述，robots meta标签有以下4种组合：
当robots meta 标签的content值为"index,follow"时，表示该页面可以被抓取，该页面上的链接也可以被继续爬行下去，robots meta标签可以简写为：
meta name="robots" content="all"
当robots meta标签的content值为”noindex,nofolow"时，表示该页面不可以被抓取，该页面上的链接也不可以被继续爬行，robots meta标签可以简写为：
meta name="robots" content="none"
robots meta标签是限制某个具体页面的蜘蛛访问情况，因此当发现网站中某个页面需要屏蔽蜘蛛抓取时，可以在该页面的源代码中添加robots meta标签，robots meta标签添加在页面的
之间。当然，有时候即使设置了禁止抓取的协议也是没用的，有些搜索引擎就是死皮赖脸要来抓取你，不遵循这些协议，这种情况比较少，遇到的概率也很低，所以现在不必要考虑这种情况。
