新浪微博:岑科成SEO

網絡營銷

當前位置:深圳網站優化 > SEO基礎知識 > 鏈接優化 >

網站robots標準寫法

作者:深圳網站優化   類別:鏈接優化

  網站上線之后,肯定是要做SEO優化的,合理的設置robots,能夠讓搜索引擎的蜘蛛重點抓取網站中的主要內容,方便搜索引擎識別整個網站的主題,避免內容分散。下面整理網站robots標準寫法。

  robots如果在搜索引擎優化中的作用對于某些網站來說是直接決定網站的關鍵詞排名的,很多網站由于程序原因,robots.txt沒有寫好 ,收錄一團糟。

  太原雅輝裝修公司的網站合理的設置了robots,整個網站總共不到130篇文章,現在收錄了95%以上,11個關鍵詞在參與排名。robots寫法:http://www.njdpyk.live/robots.txt

  下面簡單介紹一下各種常見搜索引擎蜘蛛

  1、百度蜘蛛:Baiduspider

  百度蜘蛛名稱為Baiduspider日志中還發現了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取圖片)、Baiduspider-video(抓取視頻)、Baiduspider-news(抓取新聞)。

  以上百度蜘蛛目前常見的是Baiduspider和Baiduspider-image兩種。

  2、谷歌蜘蛛:Googlebot ,Googlebot-Mobile,看名字是抓取wap內容的。

  3、360蜘蛛:360Spider,這個家伙比較勤勞

  4、SOSO蜘蛛:Sosospider,比360更加勤勞。

  5、雅虎蜘蛛:Yahoo! Slurp China

  6、有道蜘蛛:YoudaoBot

  7、搜狗蜘蛛:Sogou News Spider

  搜狗蜘蛛還包括如下這些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,等等、、、、、、

  8、MSN蜘蛛:msnbot,msnbot-media

  9、必應蜘蛛:bingbot

  10、一搜蜘蛛:YisouSpider

  11、Alexa蜘蛛:ia_archiver

  12、宜搜蜘蛛:EasouSpider

  13、即刻蜘蛛:JikeSpider

  14、一淘網蜘蛛:EtaoSpider

  根據上述蜘蛛中選擇幾個常用的允許抓取,其余的都可以通過robots屏蔽抓取。如果你暫時空間流量還足夠使用,等流量緊張了就保留幾個常用的屏蔽掉其它蜘蛛以節省流量。至于那些蜘蛛

  抓取對網站能帶來有利用的價值,網站的管理者眼睛是雪亮的。

  另外還發現了如 YandexBot、AhrefsBot和ezooms.bot這些蜘蛛,對中文網站用處很小。

  這是百度的robots

  User-agent: Baiduspider

  Disallow: /baidu

  Disallow: /s?

  User-agent: Googlebot

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: MSNBot

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Baiduspider-image

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: YoudaoBot

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou web spider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou inst spider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou spider2

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou blog

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou News Spider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sogou Orion spider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: JikeSpider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: Sosospider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: PangusoSpider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: yisouspider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: EasouSpider

  Disallow: /baidu

  Disallow: /s?

  Disallow: /shifen/

  Disallow: /homepage/

  Disallow: /cpro

  User-agent: *

  Disallow: /

  百度搜索引擎優化最權威的參考資料:http://www.baidu.com/robots.txt

  谷歌搜索引擎優化最權威的資料參考:https://www.google.com/robots.txt

下一篇:如何制作404頁面 上一篇:沒有了

SEO咨詢
SEO解答
SEO培訓
掃一掃

掃一掃
送神秘大禮

全國免費服務熱線
136-91821-695

返回頂部
体彩3d