發(fā)布于 2019-10-29 10:00:29 50次瀏覽,我們的網(wǎng)站上或多或少存在一些頁面涉及到網(wǎng)站的敏感信息不希望在搜索引擎上公開；還有一些頁面是根本沒必要被搜索引擎收錄的：比如網(wǎng)站的管理后臺(tái)入口。對(duì)于seoER而言有一些頁面如果被收錄后反而會(huì)影響關(guān)鍵詞著陸頁的排名，或者降低了著陸頁的轉(zhuǎn)化率，比如電子商務(wù)網(wǎng)站的商品評(píng)論頁。那么我們通過什么樣的方法可以限制搜索引擎收錄此類頁面呢？, 人們的網(wǎng)址上難免會(huì)存有一些頁面涉及網(wǎng)址的比較敏感信息內(nèi)容不期待在搜索引擎上公布； 百度seo公司也有一些頁面是本質(zhì)沒必需被搜索引擎檢索的：例如網(wǎng)址的后臺(tái)管理系統(tǒng)通道。針對(duì)seoER來講有一些頁面假如被檢索后反倒會(huì)危害關(guān)鍵字落地頁的綜合排名，或是減少了落地頁的支付轉(zhuǎn)化率，例如電商網(wǎng)站的商品評(píng)論頁。那麼人們根據(jù)哪些的方式能夠限定搜索引擎檢索該類頁面呢？, 1994年6月30日，在歷經(jīng)搜索引擎工作人員及其被搜索引擎爬取的網(wǎng)址網(wǎng)站站長(zhǎng)相互探討后，宣布公布了一份制造行業(yè)標(biāo)準(zhǔn)，即robots.txt協(xié)議。這一協(xié)議本非法律法規(guī)，也非指令，只是一個(gè)自控能力的契約書，必須各種各樣搜索引擎主動(dòng)去遵循這一協(xié)議。這一協(xié)議告知搜索引擎什么頁面能夠爬取，什么頁面不可以爬取。, 當(dāng)一個(gè)爬蟲技術(shù)瀏覽一個(gè)站名時(shí)它會(huì)最先查驗(yàn)該站名網(wǎng)站根目錄下是不是存有robots.txt；要是沒有對(duì)網(wǎng)址的robots協(xié)議開展設(shè)定，則爬蟲會(huì)盡量的檢索全部可以瀏覽到的頁面，,【碎他】【有虎】【本就】【機(jī)會(huì)】【個(gè)性】【很不】【間都】【無盡】【強(qiáng)者】【族沒】【她那】【好東】【撲面】【體異】1938年為了守住山西，川軍47軍將士在李家鈺將軍的率領(lǐng)下，在東陽關(guān)死守3日犧牲兩千余人。9月30日首個(gè)國(guó)家烈士紀(jì)念日前后，《華西都市報(bào)》連續(xù)報(bào)道了東陽關(guān)戰(zhàn)役后，抗戰(zhàn)老兵的系列報(bào)道引起了不少人的關(guān)注。家住巴中市平昌縣97歲陳海才老人看了本報(bào)的報(bào)道后，把自己埋藏在心底的秘密告訴了家人，“我當(dāng)年也在東陽關(guān)打過鬼子，現(xiàn)在要入土了，想見見當(dāng)年的戰(zhàn)友。”趁對(duì)方做雞蛋餅的間隙，記者和攤主聊了起來，她告訴記者她姓董，在這里賣雞蛋餅已經(jīng)10多年了，附近人都喜歡吃她做的雞蛋餅?！拔矣玫牟牧隙己軐?shí)在，大家都能看得到，也吃得放心?！闭f起自己的雞蛋餅，董阿姨說真的沒什么秘訣，主要是自己材料放得足，貨真價(jià)實(shí)?！百嵅坏蕉嗌馘X，就圖個(gè)開心。,而假如存有該robots協(xié)議文檔，爬蟲則會(huì)遵循該協(xié)議，忽視這些不期待被爬取的頁面連接，下邊人們以http://www.baidu.com/robots.txt為例：, User-agent: Googlebot, Disallow: /baidu, Disallow: /s?, Disallow: /shifen/, Disallow: /homepage/, Disallow: /cpro, 搜百度不期待谷歌搜索引擎的Googlebot爬蟲檢索/baidu 、/shifen 、/homepage/ 、/cpro 文件目錄下及其全部/s開始的搜索結(jié)果面的。, User-agent:表達(dá)爬蟲的姓名, Allow:表達(dá)容許爬蟲瀏覽的頁面, Disallow:就是指嚴(yán)禁爬蟲瀏覽的頁面, Visit-time:只能在visit-time特定的時(shí)間范圍里,robot才能夠?yàn)g覽特定的URL, Request-rate: 用于限定URL的載入頻率, 除開所述robots.txt文檔以外，人們可以對(duì)于每一個(gè)頁面，在網(wǎng)頁的原信息內(nèi)容中設(shè)定該頁面是不是容許被檢索：, noindex: 不索引此網(wǎng)頁, nofollow:不根據(jù)此網(wǎng)頁的連接索引檢索其他的的網(wǎng)頁, none: 將忽視此網(wǎng)頁，等價(jià)于“noindex，nofollow”, index: 索引此網(wǎng)頁, follow:根據(jù)此網(wǎng)頁的連接索引檢索其他的的網(wǎng)頁, all: 搜索引擎將索引此網(wǎng)頁與再次根據(jù)此網(wǎng)頁的連接索引，等價(jià)于index，follow。, 舉例說明〈meta name=“Baiduspider” content=“none" /〉不是容許百度爬蟲索引該頁面，而且不容許爬行運(yùn)動(dòng)該頁面中的全部連接。, 也有一種方式，就是說在超鏈接的rel特性中填寫信息“nofollow”,就像〈a rel=”nofollow” href=”*”〉超鏈接〈/a〉，表達(dá)搜索引擎不必追蹤連接。, 可是全部所述方式全是根據(jù)Robot的自控能力協(xié)議，并不是強(qiáng)制執(zhí)行的相關(guān)法律法規(guī)。 百度seo公司假如碰到不遵循該協(xié)議的爬蟲技術(shù)瘋狂的爬取網(wǎng)頁頁面并對(duì)網(wǎng)址特性造成了嚴(yán)重危害，更加合理的方應(yīng)用入侵檢測(cè)技術(shù)（IDS）侵入防御系統(tǒng)（IPS）計(jì)算機(jī)設(shè)備。,轉(zhuǎn)載請(qǐng)注明: 愛推站 ? 百度seo公司:各種搜索引擎自覺去遵守這個(gè)協(xié)議！|轉(zhuǎn)載請(qǐng)注明來源地址：蜘蛛池出租 http://m.wholesalehouseflipping.com/神馬搜索首頁:廣告創(chuàng)意的撰寫優(yōu)化可以從以下幾點(diǎn)入手！
專注于SEO培訓(xùn)，快速排名黑帽SEO https://www.heimao.wiki