搜索引擎Robots協(xié)議，是放置在網(wǎng)站根目錄下robots.txt文本文件，在文件中可以設(shè)定搜索引擎蜘蛛爬行規(guī)則。設(shè)置搜索引擎蜘蛛Spider抓取內(nèi)容規(guī)則。下面Seoer惜緣舉例robots寫法規(guī)則與含義：
首先要?jiǎng)?chuàng)建一個(gè)robots.txt文本文件，放置網(wǎng)站的根目錄下，下面就開始編輯設(shè)置Robots協(xié)議文件：
一、允許所有搜索引擎蜘蛛抓取所以目錄文件，如果文件無內(nèi)容，也表示允許所有的蜘蛛訪問，設(shè)置代碼如下：
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
二、禁止某個(gè)搜索引擎蜘蛛抓取目錄文件，設(shè)置代碼如下：
User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就設(shè)為，Msnbot代表MSN的蜘蛛，如果想禁止其他搜索引擎就更換蜘蛛名字即可，其他蜘蛛名字如下：
百度的蜘蛛：baiduspider
Google的蜘蛛： Googlebot
騰訊Soso:Sosospider
Yahoo的蜘蛛：Yahoo Slurp
Msn的蜘蛛：Msnbot
Altavista的蜘蛛：Scooter
Lycos的蜘蛛： Lycos_Spider_(T-Rex)
三、禁止某個(gè)目錄被搜索引擎蜘蛛抓取，設(shè)置代碼如下：
User-agent: *
Disallow: /目錄名字1/
Disallow: /目錄名字2/
Disallow: /目錄名字3/
把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取，目錄名字未寫表示可以被搜索引擎抓取。
四、禁止某個(gè)目錄被某個(gè)搜索引擎蜘蛛抓取，設(shè)置代碼如下：
User-agent: 搜索引擎蜘蛛名字 說明(上面有說明蜘蛛的名字)
Disallow: /目錄名字/ 說明(這里設(shè)定禁止蜘蛛抓取的目錄名稱)
例如，想禁目Msn蜘蛛抓取admin文件夾，可以設(shè)代碼如下：
User-agent: Msnbot
Disallow: /admin/
五、設(shè)定某種類型文件禁止被某個(gè)搜索引擎蜘蛛抓取，設(shè)置代碼如下:
User-agent: *
Disallow: /*.htm 說明(其中“.htm”，表示禁止搜索引擎蜘蛛抓取所有“htm”為后綴的文件)
六、充許所有搜索引擎蜘蛛訪問以某個(gè)擴(kuò)展名為后綴的網(wǎng)頁地址被抓取，設(shè)置代碼如下:
User-agent: *
Allow: .htm$ 說明(其中“.htm”，表示充許搜索引擎蜘蛛抓取所有“htm”為后綴的文件)
七、只充許某個(gè)搜索引擎蜘蛛抓取目錄文件，設(shè)置代碼如下：
User-agent: 搜索引擎蜘蛛名字 說明(上面有說明蜘蛛的名字)
Disallow:
網(wǎng)站制作時(shí)robots寫法規(guī)則，歡迎合作。
