首次登入百度站長平臺，新增你新的站點，並且驗證此域名。驗證成功後可對站點進行,索引量、流量、關鍵詞、移動適配以及Robots檢測。

新站點的話會提示

未在您的伺服器上找到robots.txt檔案

若您不需要對百度的抓取進行限制，則請忽略此提示；

若您需要對百度的抓取進行限制，請上傳robots.txt到伺服器根目錄下。

Robots可在百度找個線上生成，系統會自動生成一些不必要爬蟲的目錄。也可以根據自己需要對生成的robots.txt進行修改。然後上傳伺服器根目錄下面即可。

robots.txt檔案時seo最佳化中非常重要的一個檔案，也是我們seo培訓的重點之一。規範合適的抒寫robots.txt檔案，可以有效的提升蜘蛛抓取的效率，避免造成搜尋引擎蜘蛛封禁的情況。下面鄭州seo楊超就來解釋一下robots協議怎麼寫。

什麼是robots.txt

Robots協議：網站透過Robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。 協議寫在robots.txt檔案裡面。

要不要使用robots.txt

1、如果你的網站有部分內容不希望搜尋引擎抓取，那麼請設定robots.txt

2、如果你的網站全部內容都需要被搜尋引擎抓取，可以不設定。

3、一般來說，一些後臺檔案（如css、js）、使用者隱私的檔案不用被搜尋引擎抓取。

4、如果有些檔案頻繁被蜘蛛抓取，但是這些檔案又是不重要的，那麼可以用robots.txt進行遮蔽。

robots.txt的用法

User-agent: * 這裡的*代表的所有的搜尋引擎種類，*是一個萬用字元

Disallow: /資料夾名稱/ 這裡定義是禁止爬取這個資料夾下面的目錄

Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以”.htm”為字尾的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址

Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片

Disallow:/ab/adc.html 禁止爬取ab資料夾下面的adc.html檔案。

Allow: /cgi-bin/ 　這裡定義是允許爬尋cgi-bin目錄下面的目錄

Allow: /tmp 這裡定義是允許爬尋tmp的整個目錄

Allow: .htm$ 僅允許訪問以”.htm”為字尾的URL。

Allow: .gif$ 允許抓取網頁和gif格式圖片

Sitemap: 網站地圖的URL 告訴爬蟲這個頁面是網站地圖

robots.txt示例

# robots.txt for 閱讀青春readu.net

User-agent: *

Allow: /

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /wp-content/plugins/

Disallow: /?r=*

robots標籤的用法（mate標籤是寫在網頁head裡面的程式碼）

<meta name=”robots” content=”nofollow”> 所有搜尋引擎都不允許爬行

<meta name=”baiduspider” content=”nofollow”> 百度搜索引擎不允許爬行

<meta name=”robots” content=”noarchive”> 所有搜尋引擎都不允許收錄

<meta name=”baiduspider” content=”noarchive”> 百度搜索引擎都不允許收錄

robots.txt具體用途

1、一個頁面對應多個URL時，應遮蔽多餘的URL。

2、如果網站有頁面是沒有實質性內容的，應該遮蔽掉。

4、如果是UGC網站，使用者產生了大量的不良內容，應該遮蔽掉。

5、不希望被搜尋引擎索引的內容（後臺介面、使用者隱私），應該遮蔽掉。