首页 >> SEO优化 >> Matt Cutts访谈-ignore parameters与robots.txt

Matt Cutts访谈-ignore parameters与robots.txt

Catagory:SEO优化, Date:2010年04月13日,Author: 工业品营销-贾定强

Matt CuttsGoogle管理员工具中的“忽略的参数ignore parameters”是和canonical标签作用相同,一样有效的方法。

Eric Enge是的。本质上说一样的。用robots.txt来屏蔽爬虫,不让爬出爬取重复的页面上一种不太好的方法。因为这样,我们将看不到重复的页面。但是如果你通过管理员工具告诉我们哪些参数不需要的话,我们将不会抓取又这些参数引起的重复页面。

Matt Cutts让我们来谈谈KML文件吧。需要用robots.txt文件来屏蔽它,以节省抓取机会(save crawl budget)吗?

Eric Enge最好的方法是让Google去自由抓取,Google会自动去掉重复页面。用可以用好的网站架构或301转向来节省抓取机会。如果你用robots.txt来屏蔽一部分内容的话,Google仍要查看这个URL,并在索引中保存一个引用,所以不会节省抓取机会。Google会尽量多的抓取页面,甚至非HTML的页面。KML页面Google是抓取的。

我们推荐让Google自己去抓取页面,然后自己去掉重复的页面。如果你有一定水平,你可以用好的网站结构来去掉重复页面。如果你的网站有50%是KML文件,或是有大量的字体文件,你确实不想让它们被抓取,你可以用robots.txt来屏蔽。Robots.txt允许使用通配符,所以你可以阻止它们被抓取。对于大部分网站,一般只有很少一些额外的页面或不同文件类型的页面,我推荐让Google去抓取他们。

Matt Cutts如果只有很少一部分实际页面的话,你应该注意一下,别被判为作弊。

Eric Enge是的。 Абсолютная ссылкагрузовой пневмогайковерт

来源:工业品营销,原文地址:http://www.jiadingqiang.com/403.html,欢迎分享本文,转载请保留出处!

你也来说几句:

名字*必填
邮箱*必填,不会被公开
网站
QQ群交流
最近文章
文章归档
  • 2017 (16)
  • 2016 (31)
  • 2015 (63)
  • 2014 (21)
  • 2013 (38)
  • 2012 (25)
  • 2011 (67)
  • 2010 (268)
  • 2009 (19)