Matt Cutts访谈-ignore parameters与robots.txt

WhatsApp 聊天记录保险【99元/年】,聊天记录不怕丢。

WhatsApp 免墙、翻译、多开、号码抓取、群发【99元/年】

Matt CuttsGoogle管理员工具中的“忽略的参数ignore parameters”是和canonical标签作用相同,一样有效的方法。

Eric Enge是的。本质上说一样的。用robots.txt来屏蔽爬虫,不让爬出爬取重复的页面上一种不太好的方法。因为这样,我们将看不到重复的页面。但是如果你通过管理员工具告诉我们哪些参数不需要的话,我们将不会抓取又这些参数引起的重复页面。

Matt Cutts让我们来谈谈KML文件吧。需要用robots.txt文件来屏蔽它,以节省抓取机会(save crawl budget)吗?

Eric Enge最好的方法是让Google去自由抓取,Google会自动去掉重复页面。用可以用好的网站架构或301转向来节省抓取机会。如果你用robots.txt来屏蔽一部分内容的话,Google仍要查看这个URL,并在索引中保存一个引用,所以不会节省抓取机会。Google会尽量多的抓取页面,甚至非HTML的页面。KML页面Google是抓取的。

我们推荐让Google自己去抓取页面,然后自己去掉重复的页面。如果你有一定水平,你可以用好的网站结构来去掉重复页面。如果你的网站有50%是KML文件,或是有大量的字体文件,你确实不想让它们被抓取,你可以用robots.txt来屏蔽。Robots.txt允许使用通配符,所以你可以阻止它们被抓取。对于大部分网站,一般只有很少一些额外的页面或不同文件类型的页面,我推荐让Google去抓取他们。

Matt Cutts如果只有很少一部分实际页面的话,你应该注意一下,别被判为作弊。

Eric Enge是的。

微信扫一扫 或 点击链接加好友

仍有疑问,点击 链接,加个 微信 好友,一起交流。

发表评论