新站上線,最希望能夠盡快被搜索引擎收錄。只有收錄,才有后面的許許多多網站優化。
一般來說,Baidu對于新站是來者不拒,有很多都是濫竽充數,而Google相對較慢了,原因是Google對于新站都有一定的審核機制,防止一些新站利用黑帽網站優化手段短時期內即取得較好排名,這是一個最重要的可能原因。
當然,我們并不希望搜索引擎收錄網站中的任何頁面。其中某些頁面——由于隱私、管理等等——并不希望被收錄。
當搜索引擎來網站抓取頁面時,它們會先查看該站的robots.txt文件,以了解你所允許它抓取的范圍,包括哪些文件,哪些目錄。
正確的配置網站的robots.txt非常重要,錯誤的配置會導致搜索引擎不能很好的收錄甚至無法收錄,這種案例現在仍有發生,有的博客建立以后長達幾個月沒有被收錄。
各個搜索引擎都有自己的搜索機器人(Robots)在為他們工作,這些Robots在網絡上沿著網頁上的鏈接(一般是http和src鏈接)不斷抓取資料建立自己的數據庫,正是得益于這些機器人的勤勞工作,才有如此海量的數據供我們檢索。
下面是一些搜索引擎的機器人名稱:
為了防止自己的網頁被搜索到,Robots開發界提出了兩個方法:一個是robots.txt,另一個是The Robots META標簽。
Robot.txt 簡單的說,Robot.txt就是一個純文本文檔,里面包含一些命令,當Robots來網站時,就會首先檢查該網站上是否有Robot.txt,若有,則一般會根據這些命令來執行;若無,則會自動抓取網頁或網站。Robots.txt 文件應放于網站根目錄下,并且該文件是可以通過互聯網進行訪問的。如Google的robot.txt:http://www.google.com/robots.txt
下面看一個具體的實例(#后面的內容是為方便閱讀而設):
# robots.txt file start
# Exclude Files From All Robots:
User-agent: * Disallow: /security/ Disallow: /admin/ Disallow: /admin
# End robots.txt file
User-agent:用于描述搜索引擎蜘蛛的名字,在 Robots.txt 文件中,如果有多條User-agent記錄說明有多個搜索引擎蜘蛛會受到該協議的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則該協議對任何搜索引擎蜘蛛均有效,在”Robots.txt 文件中,“User-agent:*”這樣的記錄只能有一條。
Disallow:就表示不允許蜘蛛訪問,你可以根據自己的需要設立后面的目錄或者是文件,比如管理員后臺登陸的頁面或者目錄等。
Disallow: /admin/:是指允許搜索引擎蜘蛛抓取/admin.html,而不能抓取/admin/index.html。
Disallow: /admin:是指/admin.html 和/admin/index.html都不允許搜索引擎蜘蛛抓取。
下面有四個舉例: 例一:通過”/robots.txt”禁止所有搜索引擎蜘蛛抓取”/bin/cgi/”目錄,以及 “/tmp/”目錄和 /foo.html 文件,設置方法如下: User-agent: * Disallow: /bin/cgi/ Disallow: /tmp/ Disallow: /foo.html
例二:通過”/robots.txt”只允許某個搜索引擎抓取,而禁止其他的搜索引擎抓取。 如:只允許名為”slurp”的搜索引擎蜘蛛抓取,而拒絕其他的搜索引擎蜘蛛抓取 “/cgi/” 目錄下的內容,設置方法如下: User-agent: * Disallow: /cgi/
User-agent: slurp Disallow:
例三:禁止任何搜索引擎抓取我的網站,設置方法如下: User-agent: * Disallow: /
例四:只禁止某個搜索引擎抓取我的網站 如:只禁止名為“slurp”的搜索引擎蜘蛛抓取,設置方法如下: User-agent: slurp Disallow: /
Robots Meta標簽 robot.txt主要是針對整個網站而言,相比之下,Robots Meta標簽則是針對某個具體的網頁不希望被搜索到。
需要注意的是:上述的robots.txt和Robots META標簽限制搜索引擎機器人(Robots)抓取站點內容的辦法只是一種規則,需要搜索引擎機器人的配合才行,并不是每個Robots都遵守的,這方面百度似乎做得不是很好。 |