网站内容被Alexa蜘蛛删除

1. 海外社媒客户开发工具【免费】了，帮你从GG/FB/Ins/谷歌地图上免费获取客户
2. WhatsApp 聊天记录保险：【99元/年】，聊天记录不怕丢。自带翻译、多开，号码抓取、群发
3. 外贸网站搭建、谷歌SEO、社媒运营、企业WhatsApp管理、外贸管理软件、AI应用，【联系我】

最近在摸索一个新的seo的方法，所以做了一个简单的网站测试一下。由于只是测试，网站程序写的很简单，没有考虑的很仔细，够用即可。可今天回家后突然发现，网站数据库中很多内容都被删除了。第一反应就是网站数据库被攻击了。可是看了同一服务器下的其他网站的数据，发现没有问题啊。也就是说数据库并没有出现问题，但是数据却被删除了。

排除了数据库出现问题的情况，我想到了网站的简易后台。因为只是自己手动写的简易程序，所以没有对后台设置登录帐号和密码。而网站前台并没有后台的链接，所以访问者如果不知道后台的url地址，是不能访问到后台的。所以，从理论上来说，后台不设登录帐号和密码也是安全的。但数据库数据却被删除了，说明可能是简易后台的url地址被访问者知道了，所以有人登入了后台，删除了数据。我的网站上有统计工具，如果有人登入后台的话，统计工具是能够统计到的。我赶紧看了一下统计工具，发现昨天和今天都没人访问过网站后台的url。也就是说数据被访问者登入后台删除的可能也被排除了。

那么到底是什么原因使得网站数据被删除了呢？没办法了，我把网站日志下载下来，看看能不能发现些什么。打开日志一看，哦，原来如此。看下面的日志记录：

204.236.226.210 – – [16/Feb/2011:03:55:19 -0500] “GET /admin8/examples/delproduct.php?url=tower-crane HTTP/1.0″ 200 340 “-” “ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)”
204.236.226.210 – – [16/Feb/2011:03:55:23 -0500] “GET /admin8/examples/delproduct.php?url=truck HTTP/1.0″ 200 340 “-” “ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com)”

原来Alexa的爬虫不知道从哪进入了网站后台，然后顺着后台的数据删除链接爬到了delproduct.php上，结果数据就被删除了。

那么Alexa爬虫是如何知道我网站的后台url的呢？没有主动提交网址，在网络上没有可以到达后台的链接。最后只有一个原因，Alexa收集了装有Alexa工具条的用户的浏览记录，并用在了alexa爬虫在网络上的爬行中。

唉，无语！

还好，这个问题解决起来比较容易，写个robots.txt文件禁止爬虫访问后台文件就可以了。但是被删除的数据已经无法恢复了！

1. 海外社媒客户开发工具【免费】了，帮你从GG/FB/Ins/谷歌地图上免费获取客户
2. WhatsApp 聊天记录保险：【99元/年】，聊天记录不怕丢。自带翻译、多开，号码抓取、群发
3. 外贸网站搭建、谷歌SEO、社媒运营、企业WhatsApp管理、外贸管理软件、AI应用，【联系我】

微信扫一扫 或 点击链接联系我

仍有疑问，点击 链接，加个 微信 好友，一起交流。