?
?

銳龍網絡

什么是robots.txt協議文件?

SEO > 網站優化 > SEO學習 > 申永祥 發布于 2015年09月21日 | 閱讀(952)

什么是robots.txt協議文件:robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。

什么是robots.txt協議文件?

當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來 確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。

robots.txt文件特點:必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

robots.txt文件在SEO中作用:鑒于網絡安全與隱私的考慮,搜索引擎遵循robots.txt協議。通過根目錄中創建的純文本文件robots.txt, 網站可以聲明不想被robots訪問的部分。每個網站都可以自主控制網站是否愿意被搜索引擎收錄,或者指定搜索引擎只收錄指定的內容。當一個搜索引擎的爬蟲訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果該文件不存在,那么爬蟲就沿著鏈接抓取,如果存在,爬蟲就會按照該文件中的內容來確定訪問的范圍。

robots.txt文件的格式:

User-agent: 定義搜索引擎的類型。

Disallow: 定義禁止搜索引擎收錄的地址。

Allow: 定義允許搜索引擎收錄的地址。

格式如:

User-agent: * Disallow: /index.html Disallow: /index.php? Disallow: /html/ allow:/search.html

robots.txt文件的寫法:

User-agent: * 這里的“*”代表的所有的搜索引擎種類,“*”是一個通配符。允許所有的搜索引擎來收錄,包括百度、google、yahoo等 。

Disallow: /web/ 這里定義是禁止爬尋web目錄下面的目錄。

Disallow: /dedecms/ 這里定義是禁止爬尋dedecms目錄下面的目錄 。

Disallow: /ppc/ 這里定義是禁止爬尋ppc目錄下面的目錄 。

Disallow: /SEO 是屏蔽A目錄下的所有文件,包括文件和子目錄,還屏蔽 /SEO*.*的文件。

Disallow: /seo-study/*.htm 禁止訪問/seo-study/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

Disallow: /*?* 禁止訪問網站中所有帶“?”的URL。

Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片。

Disallow:/dedecms-label/arclist.html 禁止爬取dedecms-label文件夾下面的arclist.html文件。

Allow:/linxige/ 這里定義是允許爬尋linxige目錄下面的目錄。

Allow: /seo 這里定義是允許爬尋seo的整個目錄。

Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。

Allow: .gif$ 允許抓取網頁和gif格式圖片。

常用的搜索引擎類型有: (User-agent區分大小寫) 1.google蜘蛛:Googlebot,2.百度蜘蛛:Baiduspider,3.360蜘蛛:360Spider, 4.yahoo蜘蛛:Yahoo!slurp,5.alexa蜘蛛:ia_archiver,6.bing蜘蛛:MSNbot,7.altavista蜘蛛:scooter,8.lycos蜘蛛: lycos_spider_(t-rex) ,Soso蜘蛛:Sosospider, Google Adsense蜘蛛:Mediapartners-Google,有道蜘蛛:YoudaoBot等

如想了解更多關于robots文件內容的作用寫法,請相信查看百度官方關于robots文件的解讀: http://www.baidu.com/search/robots.html

通過robots.txt可以刪除被收錄的內容:

1、當你的網頁已被收錄,但想用robots.txt刪除掉,一般需要1-2個月。

2、結合Google網站管理員工具,你可以馬上刪除被Google收錄的網頁。

3、結合百度的站長平臺,通過這里可以盡快刪除被百度收錄的頁面:http://www.baidu.com/search/badlink_help.html

使用robots.txt應遵循幾個原則:

1、不要屏蔽首頁的后綴,比如:index.php,index.html 等;

2、不要寫太多帶星號的,盡量簡潔一些,我們看百度和Google的robtos.txt帶星號的寫法幾乎沒有,太多帶星號的,就可能存在誤傷;

3、不用什么都屏蔽,某些頁面即使被收錄了也不影響什么的,就建議可以不用屏蔽。

注:搜索引擎遵守robots的相關協議,請注意區分您不想被抓取或收錄的目錄的大小寫,我們會對robots中所寫的文件和您不想被抓取和收錄的目錄做精確匹配,否則robots協議無法生效。

轉載請注明來源:申永祥博客,(QQ:2320500181)原文地址:/seo-study/93.html

聲明:博客內容除標記原創字樣以外內容,均來自網絡轉載,版權歸原作者所有,如涉及版權問題請及時聯系處理。

上一篇:什么是301重定向? 下一篇:什么是nofollow標簽?
?
黑龙江快乐十分中奖表