robots.txt協議是網站和搜索引擎的協議。

　　作為網站優化人員，一定要會看robots文件，也要會寫robots文件，那么，robots.txt文件有什么作用?

　　robots.txt文件的作用有：

　　(1)引導搜索引擎蜘蛛抓取指定內容或欄目。比如，有的網站部分內容，只有注冊會員后，登陸會員功能才能看到更多內容。

　　(2)網站改版或者URL需要重寫優化的時候屏蔽對搜索引擎不友好的鏈接。

　　(3)屏蔽死鏈接、404頁面;

　　(4)屏蔽無內容頁面、無價值頁面;

　　(5)屏蔽重復頁面，如搜索結果頁、評論頁面等;

　　(6)屏蔽任何不想收錄頁面;

　　(7)引導蜘蛛抓取網站地圖。

　　網站設置robots.txt可以集權到網站重要頁面，保護網站安全。

　　知道了robots.txt的作用和設置robots.txt的必要性后，我就要知道robots.txt怎么寫?

　　User-agent:Baiduspider

　　Disallow:/

　　禁止百度抓取

　　User-agent:*

　　Disallow:/

　　不允許所以蜘蛛抓取

　　User-agent:Baiduspider

　　Disallow:/baidu/

　　禁止訪問/baidu/里面的所有文件夾

　　User-agent:*

　　Disallow:/baidu/huaxia.js

　　緊張蜘蛛抓取某個文件夾下面的某個內容

　　知道了這些，我們就根據robots.txt文件的寫法和實際需要。把寫好的robots.txt文件，通過FTP網站后臺打開上傳網站跟目錄就可以了。

　　為了方便各位朋友學習，robots.txt文件我們舉例寫一下，供需要學習的朋友參考：

　　User-agent: *

　　Disallow: /baidu/huaxia.js

　　指定所有搜索引擎蜘蛛抓取站點根目錄下/baidu/文件夾下的huaxia.js文件

　　User-agent: *

　　Allow: /baidu/ccc

　　Disallow: /baidu/

　　禁止所有搜索引擎抓取baidu文件夾

　　但可以抓取百度文件夾下含有ccc的文件及文件夾

　　User-agent: *

　　Disallow: /*.js$

　　禁止抓取站點根目錄所有js文件

　　User-agent: *

　　Disallow: /*.css$

　　禁止抓取站點根目錄下所有css文件

　　User-agent: *

　　Disallow: /*?*

　　禁止蜘蛛抓取所有動態路徑