首页 >> SEO优化 >> 网站内容被Alexa蜘蛛删除

网站内容被Alexa蜘蛛删除

Catagory:SEO优化, Date:2011年02月16日,Author: 工业品营销-贾定强

最近在摸索一个新的seo的方法,所以做了一个简单的网站测试一下。由于只是测试,网站程序写的很简单,没有考虑的很仔细,够用即可。可今天回家后突然发现,网站数据库中很多内容都被删除了。第一反应就是网站数据库被攻击了。可是看了同一服务器下的其他网站的数据,发现没有问题啊。也就是说数据库并没有出现问题,但是数据却被删除了。

排除了数据库出现问题的情况,我想到了网站的简易后台。因为只是自己手动写的简易程序,所以没有对后台设置登录帐号和密码。而网站前台并没有后台的链接,所以访问者如果不知道后台的url地址,是不能访问到后台的。所以,从理论上来说,后台不设登录帐号和密码也是安全的。但数据库数据却被删除了,说明可能是简易后台的url地址被访问者知道了,所以有人登入了后台,删除了数据。我的网站上有统计工具,如果有人登入后台的话,统计工具是能够统计到的。我赶紧看了一下统计工具,发现昨天和今天都没人访问过网站后台的url。也就是说数据被访问者登入后台删除的可能也被排除了。

那么到底是什么原因使得网站数据被删除了呢?没办法了,我把网站日志下载下来,看看能不能发现些什么。打开日志一看,哦,原来如此。看下面的日志记录:

204.236.226.210 – – [16/Feb/2011:03:55:19 -0500] “GET /admin8/examples/delproduct.php?url=tower-crane HTTP/1.0″ 200 340 “-” “ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)”
204.236.226.210 – – [16/Feb/2011:03:55:23 -0500] “GET /admin8/examples/delproduct.php?url=truck HTTP/1.0″ 200 340 “-” “ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)”

原来Alexa的爬虫不知道从哪进入了网站后台,然后顺着后台的数据删除链接爬到了delproduct.php上,结果数据就被删除了。

那么Alexa爬虫是如何知道我网站的后台url的呢?没有主动提交网址,在网络上没有可以到达后台的链接。最后只有一个原因,Alexa收集了装有Alexa工具条的用户的浏览记录,并用在了alexa爬虫在网络上的爬行中。

唉,无语!

还好,这个问题解决起来比较容易,写个robots.txt文件禁止爬虫访问后台文件就可以了。但是被删除的数据已经无法恢复了!

来源:工业品营销,原文地址:http://www.jiadingqiang.com/1855.html,欢迎分享本文,转载请保留出处!

Comments: 8 Responses to “ 网站内容被Alexa蜘蛛删除 ”
三月 2nd, 2011
仿站 说 Said:

认倒霉吧 我也遇到过

[回复]

二月 21st, 2011
湖南离心机 说 Said:

还是高手牛逼啊

[回复]

二月 20th, 2011
情感论坛 说 Said:

非常好,….谢谢提供分享 ai9ai9.com

[回复]

二月 18th, 2011
红木家具 说 Said:

Alexa收集了装有Alexa工具条的用户的浏览记录

[回复]

二月 17th, 2011
韩国 说 Said:

博主还得继续测试啊!

[回复]

二月 17th, 2011
风过无痕 说 Said:

IE浏览历史记录属于用户隐私,alexa应该不会那么2吧?

[回复]

小强 回复:

所以我很无语!

[回复]

二月 17th, 2011
好东西分享 说 Said:

看来站点上的路径该屏蔽还得屏蔽

[回复]

你也来说几句:

名字*必填
邮箱*必填,不会被公开
网站
QQ群交流
最近文章
文章归档
  • 2017 (3)
  • 2016 (30)
  • 2015 (63)
  • 2014 (21)
  • 2013 (38)
  • 2012 (25)
  • 2011 (67)
  • 2010 (268)
  • 2009 (19)