上在周末的時候就與之前的同事聚了一下，在其中一位和我同行的同事給我講了一件事，就是他上周在他們公司面試了一位做網站推廣的人，這個人稱自己已經有3年的網站推廣工人經驗，他的態度也非常的傲慢，在我的同事與他交談當中，我的同事提倒一個話題就是robots.txt到底是不是應該去做，在他的談論中他表示對于robots.txt的用處不大，他以前在網站推廣的時候就都沒有寫。

后來我同事就講到他自己的觀點，他說：robots.txt文件是必須的。我不知道為什么做了3年網站推廣的人會說robots.txt沒什么大用處，還說沒有其他外部鏈接蜘蛛就不會抓取到這些頁面，沒必要用robots.txt屏蔽。要是真的這樣，為什么蜘蛛到了一個網站會首先看這個網站的robots.txt文件？robots.txt文件沒有任何外部鏈接，仍能被蜘蛛爬取到？并且網站的源代碼里面肯定會有 css、js、網站后臺、圖片等鏈接那么這些文件都不用屏蔽？

OK，如果不寫robots.txt也能做好網站推廣，我承認，的確是，但是robots.txt做為網站推廣入門的基礎知識，是我們每個網站推廣專員應該注重的。網站建設好網站推廣做的就是細節，如果這個細節你不注意、那個細節也不注意，不注意的細節多了，你怎么能做好網站推廣？

無論是百度也好、谷歌也好，他們的網站推廣手冊里都寫到：

搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時，會首先會 檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中創建一個robots.txt，在文件中聲明 該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

robots.txt的使用其實是網站推廣的高級運用，在一些行業網站上尤為明顯，行業網站頁面過多，無用的頁面也有很多，所以必須使用robots.txt屏蔽無用頁面，提升蜘蛛的爬取效率，這是網站推廣的高級策略。

所以，robots.txt文件確實是有用的，并不像有些人說的那么不重要，有些人雖然做了幾年的網站推廣，但是現在還想用以前的思路來做網站推廣，顯然 是不可取的，搜索引擎的技術在飛速提升，zac說過，谷歌在幾年前就能抓取js里面的鏈接了，并且能傳遞權重，你還認為js不能被搜索引擎識別嗎？

搜索引擎的技術正在一步一步的完善，如果我們網站推廣技術不能與時俱進，那就只能被淘汰！