重复内容与镜像网页

1. 海外社媒客户开发工具【免费】了,帮你从GG/FB/Ins/谷歌地图上免费获取客户

2. WhatsApp 聊天记录保险【99元/年】,聊天记录不怕丢。自带翻译、多开,号码抓取、群发

3. 外贸网站搭建、谷歌SEO、社媒运营、企业WhatsApp管理、外贸管理软件、AI应用,【联系我】

大家都知道网上存在网页内容转载的情况,我们把转载的网页称为原始网页的镜像网页。由于镜像网页的大量存在,就导致了搜索引擎非常头疼的问题——“重复内容”问题。今天跟大家分享一下镜像网页和重复内容的相关知识背景。

网上的现实情况是,大量的镜像网页并不是对原始网页的简单拷贝,而是将要转载的内容放在新的模板中再提供服务。我们称这样的网页为近似镜像网页。通过分析,我们将网上存在的近似镜像网页或网页集分为以下几种:

⑴ 完全重复的镜像网页。例如FAQ、法律文件、热门网站的镜像站点等等。产生这些近似镜像网页的原因一般来说有:

镜像站点,即完全相同的网页存在于网络的不同位置。

动态URL。动态网页的URL是不固定的。即同一个页面可以和多个URL相对应。我们访问该页面时,是应用URL参数来打开该内容的详细资料页面。一般情况下,整个互联网上静态网页比动态网页质量要高很多。因此,很多搜索引擎会优先收录静态网页,而在搜索结果中,静态网页往往也比相同的内容的动态网页排名要靠前。

非法的重复:网络垃圾、陷阱站点等。Web服务器可以由程序动态生成网页,有些站点甚至可生成无穷无尽、对搜索引擎毫无意义的网页,这些站点构成网页搜集系统的陷阱。

⑵ 部分重复,即近似镜像的网页。这些网页可能是在模板、格式、站点管理员签名等方面有所改动,但是网页正文部分的内容是几乎完全相同的。例如,相同的文档可能在网上存在不同格式的版本。这些网页也有可能是内容部分重复的网页。例如未更新的文档。产生这些近似镜像的网页的原因可能有:

更新频率:一个网页集的主要备份通常被及时更新,但是其镜像备份可能几天、几周、几各月才被更新一次。这些成套网页集的镜像备份由于其更新频率过低而通常是过时的。

部分镜像:每个镜像网页集覆盖主要备份的程度都是不同的。大多数情况下,网页集合是被全部镜像的。在其他一些情况下,只有部分网页被拷贝,并且保留了指向其他镜像站点或是主要备份的链接。

不同的格式:主要网页和备份网页的格式可能是不一样的。例如,一个网页可能用的是HTML文件,而另一个采用PostScript、Adobe PDF或者Microsoft Word格式。

不同模板:商业网站中的网页通常都是由同一个模板自动生成的。这些网页被加入了一些导航条、广告、图片、版权信息等网页噪音。这样它们就会和其他网站中相同内容的网页有一些不同。

部分抓取:搜集端可能没有足够的资源来获取所有的数据,或者搜集端本身出现错误。所以即使两个网页是完全重复的,搜集端所抓取到的网页也可能是不一样的。

随着互联网上网页的增多,近似镜像网页所占的比例也在不断增大。但对于搜索用户来说,他并不希望搜索结果页中充斥大量的镜像网页或近似镜像网页。所以搜索引擎为了增加用户体验度,必须处理这些镜像网页,对它们进行消重复处理。如果不能很好的处理这些镜像页面或近似镜像页面,必然会造成搜索引擎:

资源的浪费:花费大量的时间抓取重复的网页并花费大量的磁盘空间存取;

索引负担:建立索引时,必须对大量的重复网页建立索引,使倒排文件变得庞大;

影响服务效果:庞大的倒排文件直接影响提供服务时的响应速度,并且检索结果中会出现大量的重复结果,毫无价值,降低用户满意程度。

所以,如何快速准确地发现这些内容上的镜像网页和近似镜像网页,消除重复内容已经成为提高搜索引擎服务质量的关键技术之一。明天继续介绍搜索引擎的消重复内容的相关算法。

1. 海外社媒客户开发工具【免费】了,帮你从GG/FB/Ins/谷歌地图上免费获取客户

2. WhatsApp 聊天记录保险【99元/年】,聊天记录不怕丢。自带翻译、多开,号码抓取、群发

3. 外贸网站搭建、谷歌SEO、社媒运营、企业WhatsApp管理、外贸管理软件、AI应用,【联系我】

微信扫一扫 或 点击链接联系我

仍有疑问,点击 链接,加个 微信 好友,一起交流。

《重复内容与镜像网页》有5条评论

  1. 不是没人气,是我自己为了处理垃圾评论,不小心把所有评论都删除了,郁闷啊~

发表评论