經(jīng)營(yíng)范圍

深圳市新麗五金塑膠模具有限公司噴油模具網(wǎng)深圳噴油模具噴油銅模噴漆銅模噴油模廠家銅模廠家東莞噴油模玩具噴油夾模惠州噴油模噴油模具噴油銅夾模玩具噴油模孩之寶玩具噴油模廣州市噴油模深圳噴油模美泰玩具噴油模力高玩具噴油模德林玩具噴油模順德噴油模五金噴油模杭州市噴油模汕頭玩具噴油模鑄造廣東省深圳噴油模廣州市噴油模佛山市噴油模順德噴油模上海噴油模東莞市噴油模南京市噴油模中山市噴油模青島噴油?；葜菔袊娪湍：釉词袊娪湍Ｇ暹h(yuǎn)市噴油模珠海噴油模羅定噴油

2016-10-04 13:28:00作者:無(wú)名來(lái)源：admin0次閱讀

一、什么是 robots ？
?
robots是站點(diǎn)與spider溝通的重要渠道，站點(diǎn)通過(guò)robots文件聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
?
二、robots 格式定義
?
User-agent：用于描述搜索引擎robot的名字。
?
Disallow：用于描述不希望被訪問(wèn)的一組URL，這個(gè)值可以是一條完整的路徑，也可以是路徑的非空前綴。
?
Allow：用于描述希望被訪問(wèn)的一組URL，與Disallow項(xiàng)相似，這個(gè)值可以是一條完整的路徑，也可以是路徑的前綴。
?
三、特殊通配符
?
"*" ? ?匹配0或多個(gè)任意字符
"$" ? 匹配行結(jié)束符。
"?" ? 匹配動(dòng)態(tài)路徑
?
四、使用方法
?
?在本地建立一個(gè) robots.txt 文本文件，把需要設(shè)置的 robot 協(xié)議寫(xiě)進(jìn)文本中，然后再把此 robots.txt 文本文件上傳至網(wǎng)站空間根目錄下。
?
五、常用設(shè)置蛛蛛
?
?百度蜘蛛：Baiduspider
谷歌機(jī)器人： ?Googlebot
?360好搜： 360spider
?SOSO蜘蛛：Sosospider
有道蜘蛛：YoudaoBot
必應(yīng)蜘蛛：bingbot
?
六、robots的用法舉例
?
1.屏蔽所有搜索引擎
?
User-agent: *?
?Disallow: /
?
注意：英文冒號(hào)后面緊接著必須是一個(gè)英文格式的“空格”。
?
2.屏蔽百度蛛蛛，允許其它蛛蛛
?
User-agent: Baiduspider
Disallow: / ?
?
User-agent: *
?
3.屏蔽一個(gè)文件夾
?
User-agent: *
Disallow: /data/
?
4.屏蔽一個(gè)文件夾，但允許訪問(wèn)此文件夾中的某個(gè)文件
?
User-agent: *
Disallow: /data/
Allow: /data/abc.php
?
5.屏蔽文件夾時(shí)后面帶 "/" 與不帶 "/" 的區(qū)別
?
例如 "Disallow:/data" ?是禁止robot訪問(wèn)/data.html、/dataxxx.html、/data/xxx.html，
而 "Disallow:/data/"則禁止robot訪問(wèn)/data/xxx.html、/data/xxx/ ，而允許訪問(wèn)/data.html、/dataxxx.html文件。
PS：Allow 是一樣的道理。
?
6.屏蔽動(dòng)態(tài)路徑
?
User-agent: *
Disallow: /*?*
?
7.指定蛛蛛爬取路徑以 .html 結(jié)尾，后面所有路徑都不再抓取
?
User-agent: *
Disallow: /*.html$
?
8.分別定義百度蛛蛛，和谷歌蛛蛛
?
User-agent: Baiduspider
Disallow: ?/data/
?
User-agent: Googlebot
Disallow: /template/
?
如我網(wǎng)站的 robots 協(xié)議：

聲明: 本文由( admin )原創(chuàng)編譯，轉(zhuǎn)載請(qǐng)保留鏈接: 做工廠代加工優(yōu)化必知robots協(xié)議規(guī)則大全

相關(guān)文章

網(wǎng)友評(píng)論

公司介紹

行業(yè)：互聯(lián)網(wǎng) 品牌：公司介紹
，
取自"腹中有墨，不愿沉淪"之意。
我一直有一顆90后浪漫主義者的心
夢(mèng)里尋她千百度，驀然回首，那人卻在燈火闌珊處。
愛(ài)好互聯(lián)網(wǎng)，寫(xiě)自傳、現(xiàn)代詩(shī)詞等。
公司專注電子商務(wù)、公司介紹優(yōu)化、公司介紹服務(wù)、公司介紹顧問(wèn)、微營(yíng)銷(xiāo)、淘寶運(yùn)營(yíng)、網(wǎng)站運(yùn)營(yíng)、網(wǎng)絡(luò)營(yíng)銷(xiāo)、網(wǎng)絡(luò)推廣、微信公眾號(hào)、營(yíng)銷(xiāo)系統(tǒng)研發(fā)和培訓(xùn)；公司致力于幫助草根網(wǎng)絡(luò)創(chuàng)業(yè)者打造最好的網(wǎng)絡(luò)營(yíng)銷(xiāo)系統(tǒng)！ 用思維改變命運(yùn)！

歡迎大家咨詢。公司介紹
咨詢飛機(jī)； yizhilaoshu

最新文章

圖文聚集

熱門(mén)排行