上在周末的时候就与之前的同事聚了一下，在其中一位和我同行的同事给我讲了一件事，就是他上周在他们公司面试了一位做网站推广的人，这个人称自己已经有3年的网站推广工人经验，他的态度也非常的傲慢，在我的同事与他交谈当中，我的同事提倒一个话题就是robots.txt到底是不是应该去做，在他的谈论中他表示对于robots.txt的用处不大，他以前在网站推广的时候就都没有写。

后来我同事就讲到他自己的观点，他说：robots.txt文件是必须的。我不知道为什么做了3年网站推广的人会说robots.txt没什么大用处，还说没有其他外部链接蜘蛛就不会抓取到这些页面，没必要用robots.txt屏蔽。要是真的这样，为什么蜘蛛到了一个网站会首先看这个网站的robots.txt文件？robots.txt文件没有任何外部链接，仍能被蜘蛛爬取到？并且网站的源代码里面肯定会有 css、js、网站后台、图片等链接那么这些文件都不用屏蔽？

OK，如果不写robots.txt也能做好网站推广，我承认，的确是，但是robots.txt做为网站推广入门的基础知识，是我们每个网站推广专员应该注重的。网站建设好网站推广做的就是细节，如果这个细节你不注意、那个细节也不注意，不注意的细节多了，你怎么能做好网站推广？

无论是百度也好、谷歌也好，他们的网站推广手册里都写到：

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会 检查该网站的根域下是否有一个叫做 robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明 该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

robots.txt的使用其实是网站推广的高级运用，在一些行业网站上尤为明显，行业网站页面过多，无用的页面也有很多，所以必须使用robots.txt屏蔽无用页面，提升蜘蛛的爬取效率，这是网站推广的高级策略。

所以，robots.txt文件确实是有用的，并不像有些人说的那么不重要，有些人虽然做了几年的网站推广，但是现在还想用以前的思路来做网站推广，显然 是不可取的，搜索引擎的技术在飞速提升，zac说过，谷歌在几年前就能抓取js里面的链接了，并且能传递权重，你还认为js不能被搜索引擎识别吗？

搜索引擎的技术正在一步一步的完善，如果我们网站推广技术不能与时俱进，那就只能被淘汰！