什么是Baiduspider？
Baiduspider是百度搜索引擎的一個自動程序，它的作用是訪問互聯網上的網頁，建立索引數據庫，使用戶能在百度搜索引擎中搜索到您網站上的網頁。
Baiduspider的user-agent是什么？
百度各個產品使用不同的user-agent：
|
產品名稱 |
對應user-agent |
|
無線搜索 |
Baiduspider-mobile |
|
圖片搜索 |
Baiduspider-image |
|
視頻搜索 |
Baiduspider-video |
|
新聞搜索 |
Baiduspider-news |
|
百度搜藏 |
Baiduspider-favo |
|
百度聯盟 |
Baiduspider-cpro |
|
網頁以及其他搜索 |
Baiduspider |
如何判斷是否冒充Baiduspider的抓??？
您可以使用host ip命令反解ip來判斷Baiduspider的抓取是否冒充。Baiduspider的hostname以*.baidu.com的格式命名，非*.baidu.com即為冒充。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.
通過robots協議 屏蔽百度抓取網站或網站的某些頁面
以下robots實現禁止所有來自百度的抓取：
User-agent: Baiduspider
Disallow: /
以下robots實現僅禁止來自百度視頻搜索的抓?。?
User-agent: Baiduspider-video
Disallow: /
以下robots實現禁止所有來自百度的抓取但允許圖片搜索抓取/image/目錄：
User-agent: Baiduspider
Disallow: /
User-agent: Baiduspider-image
Allow: /image/
