蜘蛛池出租

Google官方robots.txt系列(2)：

發(fā)布于 2018-01-20 12:36:51 670次瀏覽, robots.txt 文件位于您網(wǎng)站的根目錄下，用于表明您不希望搜索引擎抓取工具訪問您網(wǎng)站上的哪些內容。此文件使用的是 漫游器排除標準，該標準是一種內含一小組命令的協(xié)議，可依照網(wǎng)站各部分和特定的網(wǎng)頁抓取工具類型（例如移動版抓取工具與桌面版抓取工具），表明可訪問的網(wǎng)站內容。,對于非圖片文件（即網(wǎng)頁），您應僅將 robots.txt 用于控制抓取流量，因為通常情況下您不會希望 Google 抓取工具造成您的服務器超負荷，或是將抓取預算浪費在抓取您網(wǎng)站上不重要或相似的網(wǎng)頁上。 如果您不想讓自己的網(wǎng)頁顯示在 Google 搜索結果中，請不要將 robots.txt 用作隱藏網(wǎng)頁的方法。 這是因為其他網(wǎng)頁可能會指向您的網(wǎng)頁，

你知道網(wǎng)站關鍵詞該怎么布局嗎？

導致我們將您的網(wǎng)頁編入索引，而讓 robots.txt 文件失去效用。如果您想從搜索結果中屏蔽自己的網(wǎng)頁，請使用其他方法，例如密碼保護或  noindex 標記或指令。,robots.txt  可以阻止圖片文件出現(xiàn)在 Google 搜索結果中（不過它不會阻止其他網(wǎng)頁或用戶鏈接到您的圖片）。,如果您認為加載網(wǎng)頁時跳過不重要的圖片、腳本或樣式文件等資源并不會造成太大影響，那么您可以使用 robots.txt 來屏蔽這些資源文件。不過，如果缺少這些資源會增加 Google 抓取工具在分析網(wǎng)頁方面的難度，則建議您不要屏蔽這些資源，否則 Google 將無法正確分析需要依賴這些資源的網(wǎng)頁。,在創(chuàng)建  robots.txt 之前，您應該了解這種網(wǎng)址屏蔽方法的潛在風險。有時候，您可能需要考慮采用其他機制來確保搜索引擎無法在網(wǎng)絡上找到您的網(wǎng)址。,注意：結合使用多種抓取和索引編制指令可能會導致某些指令與其他指令沖突。請參閱 Google Developers 文檔的 “結合使用抓取指令和索引編制/內容提供指令”部分，了解如何正確配置這些指令。,
,轉載請注明: 愛推站 ? Google官方robots.txt系列(1)：

如何選擇域名更有利于SEO

|轉載請注明來源地址：蜘蛛池出租 http://m.wholesalehouseflipping.com/
專注于SEO培訓，快速排名黑帽SEO https://www.heimao.wiki