robots.txt是搜索引擎訪問你的網(wǎng)站時要查看的第一個文件。Robots.txt文件可以告訴蜘蛛程序或者爬蟲程序（下簡稱搜索機器人）在你的服務(wù)器上什么文件是可以被查看的什么文件是不可以被查看的。

當(dāng)一個搜索機器人訪問一個站點時，它會首先檢查該站點根目錄下是否有robots.txt，如果有，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索機器人將能夠訪問網(wǎng)站上所有沒有被口令保護的頁面。

robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。

語法：最簡單的 robots.txt 文件使用規(guī)則：

· User-Agent: 適用下列規(guī)則的漫游器

· Disallow: 要攔截的網(wǎng)頁

·Allow:允許爬取的網(wǎng)頁

robots.txt文件用法舉例：

例1.禁止所有搜索引擎訪問網(wǎng)站的任何部分

User-agent: *

Disallow: /

例2.允許所有的robot訪問

(或者也可以建一個空文件 "/robots.txt")

User-agent: *

Allow: /

另一種寫法是

User-agent: *

Disallow:

例3. 僅禁止Baiduspider訪問您的網(wǎng)站

User-agent: Baiduspider

Disallow: /

例4. 僅允許Baiduspider訪問您的網(wǎng)站

User-agent: Baiduspider

Allow: /

例5. 禁止spider訪問特定目錄

在這個例子中，該網(wǎng)站有三個目錄對搜索引擎的訪問做了限制，即robot不會訪問這三個目錄。需要注意的是對每一個目錄必須分開聲明，而不能寫成 "Disallow: /cgi-bin/ /tmp/"。

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

例6. 允許訪問特定目錄中的部分

url User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

例7. 使用"*"限制訪問url

禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

User-agent: *

Disallow: /cgi-bin/*.htm

例8. 使用"$"限制訪問url

僅允許訪問以".htm"為后綴的URL。

User-agent: *

Allow:/ .htm$

例9. 禁止訪問網(wǎng)站中所有的動態(tài)頁面

User-agent: *

Disallow: /*?*

例10. 禁止Baiduspider抓取網(wǎng)站上所有圖片

僅允許抓取網(wǎng)頁，禁止抓取任何圖片。

User-agent: Baiduspider

Disallow: /.jpg$

Disallow: / .jpeg$

Disallow:/ .gif$

Disallow:/ .png$

Disallow: /.bmp$

例11. 僅允許Baiduspider抓取網(wǎng)頁和。gif格式圖片

允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片

User-agent: Baiduspider

Allow: .gif$

Disallow: /.jpg$

Disallow:/ .jpeg$

Disallow:/ .png$

Disallow: /.bmp$

例12. 僅禁止Baiduspider抓取。jpg格式圖片

User-agent: /Baiduspider

Disallow:/ .jpg$

---