您的位置:首頁 > 公司介紹
公司介紹

深圳市新麗五金塑膠模具有限公司噴油模具網(wǎng)深圳噴油模具噴油銅模噴漆銅模噴油模廠家銅模廠家東莞噴油模玩具噴油夾?；葜輫娪湍娪湍＞邍娪豌~夾模玩具噴油模孩之寶玩具噴油模廣州市噴油模深圳噴油模美泰玩具噴油模力高玩具噴油模德林玩具噴油模順德噴油模五金噴油模杭州市噴油模汕頭玩具噴油模鑄造廣東省深圳噴油模廣州市噴油模佛山市噴油模順德噴油模上海噴油模東莞市噴油模南京市噴油模中山市噴油模青島噴油模惠州市噴油模河源市噴油模清遠市噴油模珠海噴油模羅定噴油

2018-05-19 03:45:39作者:無名來源：admin0次閱讀

網(wǎng)站基礎(chǔ)優(yōu)化有很多，其中robots協(xié)議就是其中之一，今天就來談談百度robots協(xié)議解析，關(guān)于robots協(xié)議寫法的相關(guān)問題。寫好robots協(xié)議文件有助于我們的網(wǎng)站更快的收錄及保護好網(wǎng)站。
?
一、什么是robots協(xié)議？
?
它是給于網(wǎng)站與蜘蛛之間的一種協(xié)議文件，所以其也可以稱之為爬蟲協(xié)議或者機器人協(xié)議。而百度站長平臺給出的官方叫法是“網(wǎng)絡爬蟲排除標準”，通過這個文件網(wǎng)站管理員可以規(guī)定蜘蛛來到網(wǎng)哪里可以爬取，哪里不能爬取。

robots協(xié)議
?
二、robots協(xié)議的意義
?
整個網(wǎng)站是由網(wǎng)站內(nèi)容，程序，數(shù)據(jù)庫信息等等相關(guān)的組合在一起搭建起來的，而網(wǎng)站里面的東西不是什么都需打百度蛛蛛爬取收錄的，有的東西不能讓其收錄，如網(wǎng)站后臺地址、登錄信息，網(wǎng)站模板文件等等，這些東東西如果被蜘蛛爬收錄了，不僅會降低網(wǎng)站排名的收錄頁面得分，還會泄露網(wǎng)站重要信息。
?
為了避免這一情況的出現(xiàn)，robots協(xié)議就在中間起到了重要的作用。
?
三、robots協(xié)議文件的格式及寫法
?
User-agent:
?
該項的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到該協(xié)議的限制，對該文件來說，至少要有一條User-agent記錄。
?
如果該項的值設為*，則該協(xié)議對任何機器人均有效，在"robots.txt"文件中，"User-agent：*"這樣的記錄只能有一條。
?
一般都是用"User-agent：*"，允許所有引擎蜘蛛到網(wǎng)站收錄頁面。
?
Disallow :
?
該項的值用于描述不希望被訪問到的一個URL，這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被robot訪問到。

robots協(xié)議寫法舉例
?
例如：
?
"Disallow: /help"
對/help.html和/help/index.html都不允許搜索引擎訪問，
?
而"Disallow:/help/"
則允許robot訪問/help.html，而不能訪問/help/index.html。
?
任何一條Disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問，在"robots.txt"文件中，至少要有一Disallow記錄。
?
如果"robots.txt"是一個空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。
?
四、robots.txt文件放在哪里?
?
robots協(xié)議應該放在網(wǎng)站根目錄下面，當蜘蛛來了網(wǎng)站時第一時間是查看robots文件協(xié)議，然后會根據(jù)這個文件的協(xié)議規(guī)則來對網(wǎng)站內(nèi)容進行爬取及收錄頁面。
?
關(guān)于robots寫法具體可以查看《robots協(xié)議規(guī)則大全》

聲明: 本文由( admin )原創(chuàng)編譯，轉(zhuǎn)載請保留鏈接: robots協(xié)議

相關(guān)文章

編輯：admin 關(guān)鍵詞：robots協(xié)議

網(wǎng)友評論

公司介紹

行業(yè)：互聯(lián)網(wǎng) 品牌：公司介紹
，
取自"腹中有墨，不愿沉淪"之意。
我一直有一顆90后浪漫主義者的心
夢里尋她千百度，驀然回首，那人卻在燈火闌珊處。
愛好互聯(lián)網(wǎng)，寫自傳、現(xiàn)代詩詞等。
公司專注電子商務、公司介紹優(yōu)化、公司介紹服務、公司介紹顧問、微營銷、淘寶運營、網(wǎng)站運營、網(wǎng)絡營銷、網(wǎng)絡推廣、微信公眾號、營銷系統(tǒng)研發(fā)和培訓；公司致力于幫助草根網(wǎng)絡創(chuàng)業(yè)者打造最好的網(wǎng)絡營銷系統(tǒng)！ 用思維改變命運！

歡迎大家咨詢。公司介紹
咨詢飛機； yizhilaoshu

最新文章

圖文聚集

熱門排行