新浪博客屏蔽了百度蜘蛛

今天网上转转,偶然看到有人说新浪博客屏蔽了百度蜘蛛。感觉很惊讶,很多做SEO的同行在新浪上开博客给自己网站增加权重,很多博客的PR值都很高了,如果被新浪屏蔽了的话,估计的非常郁闷。所以,赶紧看看是真是假。http://blog.sina.com.cn/robots.txt去看个究竟。

#限制的搜索引擎的User-Agent代码,*表示所有###########
User-agent: *

#限制不能搜索的目录,Disallow: 为空时开放所有目录####
Allow: /admin/blogmove/

Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/

#开放搜索的目录有####################################
#	/
#	/advice/
#	/help/
#	/lm/
#	/main/
#	/myblog/

#搜索引擎User-Agent代码对照表########################
#	搜索引擎				User-Agent代码
#	AltaVista				Scooter
#	Infoseek				Infoseek
#	Hotbot					Slurp
#	AOL Search				Slurp
#	Excite					ArchitextSpider
#	Google					Googlebot
#	Goto					Slurp
#	Lycos					Lycos
#	MSN 					MSNBOT
#	Netscape				Googlebot
#	NorthernLight			Gulliver
#	WebCrawler				ArchitextSpider
#	Iwon					Slurp
#	Fast					Fast
#	DirectHit				Grabber
#	Yahoo Web Pages			Googlebot
#	Looksmart Web Pages		Slurp
#	Baiduspider				Baidu
没有任何屏蔽的迹象,从属谣言。。。

i need to translate spanish to englishfree cash no deposit mobile casino

6 thoughts on “新浪博客屏蔽了百度蜘蛛

  1. 楼主你好,向你咨询个问题,www.mingmw.com是我的站点,有4个子站点,但是百度蜘蛛一直沿着www的路径抓取,这是什么原因呢
    我的后台有自动生成的二级目录,但是现在已经不能用了,百度依旧沿着这个路径爬行,是我路径设置的原因,还是什么??、

Leave a Comment