1. 海外社媒客户开发工具【免费】了,帮你从GG/FB/Ins/谷歌地图上免费获取客户
今天网上转转,偶然看到有人说新浪博客屏蔽了百度蜘蛛。感觉很惊讶,很多做SEO的同行在新浪上开博客给自己网站增加权重,很多博客的PR值都很高了,如果被新浪屏蔽了的话,估计的非常郁闷。所以,赶紧看看是真是假。http://blog.sina.com.cn/robots.txt去看个究竟。
#限制的搜索引擎的User-Agent代码,*表示所有########### User-agent: * #限制不能搜索的目录,Disallow: 为空时开放所有目录#### Allow: /admin/blogmove/ Disallow: /admin/ Disallow: /include/ Disallow: /html/ Disallow: /queue/ Disallow: /config/ #开放搜索的目录有#################################### # / # /advice/ # /help/ # /lm/ # /main/ # /myblog/ #搜索引擎User-Agent代码对照表######################## # 搜索引擎 User-Agent代码 # AltaVista Scooter # Infoseek Infoseek # Hotbot Slurp # AOL Search Slurp # Excite ArchitextSpider # Google Googlebot # Goto Slurp # Lycos Lycos # MSN MSNBOT # Netscape Googlebot # NorthernLight Gulliver # WebCrawler ArchitextSpider # Iwon Slurp # Fast Fast # DirectHit Grabber # Yahoo Web Pages Googlebot # Looksmart Web Pages Slurp # Baiduspider Baidu
没有任何屏蔽的迹象,从属谣言。。。
1. 海外社媒客户开发工具【免费】了,帮你从GG/FB/Ins/谷歌地图上免费获取客户
微信扫一扫 或 点击链接联系我
标题很吸引人,文章成功一半
原来 是假的啊,吓我一身汗
因为她对百度的依赖性小了嘛,呵呵
楼主你好,向你咨询个问题,www.mingmw.com是我的站点,有4个子站点,但是百度蜘蛛一直沿着www的路径抓取,这是什么原因呢
我的后台有自动生成的二级目录,但是现在已经不能用了,百度依旧沿着这个路径爬行,是我路径设置的原因,还是什么??、
Arjuna X 1.3.9
你博客用的这是什么模版,很不错