robots.txt对一个网站的影响有多大

网民***

　　大家好，我是Jrasy，刚刚有一篇文章精准的介绍了我从事SEO行业4年来的所有经验，最后特别提到了一个关于robots.txt的问题，不管这个文件对于一个网站的影响有多大，我个人觉的我都有必要先告诉对这个文件有兴趣的人，这个文件要怎么写。

　　robots.txt很简单，是非常非常简单。有的人不懂robots是什么，有什么用?

　　robots就是一个必须放在网站根目录、让搜索蜘蛛读取的txt文件，文件名必须是小写的"robots.txt"。通过robots.txt可以控制SE收录内容，告诉蜘蛛哪些文件和目录可以收录，哪些不可以收录。

　　在这里说明下，如果在网站目录下加了这个文件，搜索引擎会认为你是一个比较正规标准的站。

　　搜索引擎会对你有个好印象，我的论坛就有ROBOTS文件，有个前辈曾经还告诉过我，ROBOTS文件会对网站的关键词有影响，具体也没说的太清楚，例如我给我的学员用来做教程用的一个网站，ROBOTS文件是程序本来就带的，也没发现什么问题，更不用说对关键词有什么影响，切入整体，ROBOTS文件如何写!

　　用几个最常见的情况，直接举例说明：

　　1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

　　2. 禁止所有SE收录网站的某些目录：

　　User-agent: *

　　Disallow: /目录名1/

　　Disallow: /目录名2/

　　Disallow: /目录名3/

　　3. 禁止某个SE收录本站，例如禁止百度：

　　User-agent: Baiduspider

　　Disallow: /

　　4. 禁止所有SE收录本站：

　　User-agent: *

　　Disallow: /

　　5. 加入sitemap.xml路径。

　　ROBOTS的潜力到底有多大?Jrasy有时间再跟大家讨论