Matt Cutts访谈-ignore parameters与robots.txt

1. 海外社媒客户开发工具【免费】了,帮你从GG/FB/Ins/谷歌地图上免费获取客户

2. WhatsApp 聊天记录保险【99元/年】,聊天记录不怕丢。自带翻译、多开,号码抓取、群发

3. 外贸网站搭建、谷歌SEO、社媒运营、企业WhatsApp管理、外贸管理软件、AI应用,【联系我】

Matt CuttsGoogle管理员工具中的“忽略的参数ignore parameters”是和canonical标签作用相同,一样有效的方法。

Eric Enge是的。本质上说一样的。用robots.txt来屏蔽爬虫,不让爬出爬取重复的页面上一种不太好的方法。因为这样,我们将看不到重复的页面。但是如果你通过管理员工具告诉我们哪些参数不需要的话,我们将不会抓取又这些参数引起的重复页面。

Matt Cutts让我们来谈谈KML文件吧。需要用robots.txt文件来屏蔽它,以节省抓取机会(save crawl budget)吗?

Eric Enge最好的方法是让Google去自由抓取,Google会自动去掉重复页面。用可以用好的网站架构或301转向来节省抓取机会。如果你用robots.txt来屏蔽一部分内容的话,Google仍要查看这个URL,并在索引中保存一个引用,所以不会节省抓取机会。Google会尽量多的抓取页面,甚至非HTML的页面。KML页面Google是抓取的。

我们推荐让Google自己去抓取页面,然后自己去掉重复的页面。如果你有一定水平,你可以用好的网站结构来去掉重复页面。如果你的网站有50%是KML文件,或是有大量的字体文件,你确实不想让它们被抓取,你可以用robots.txt来屏蔽。Robots.txt允许使用通配符,所以你可以阻止它们被抓取。对于大部分网站,一般只有很少一些额外的页面或不同文件类型的页面,我推荐让Google去抓取他们。

Matt Cutts如果只有很少一部分实际页面的话,你应该注意一下,别被判为作弊。

Eric Enge是的。

1. 海外社媒客户开发工具【免费】了,帮你从GG/FB/Ins/谷歌地图上免费获取客户

2. WhatsApp 聊天记录保险【99元/年】,聊天记录不怕丢。自带翻译、多开,号码抓取、群发

3. 外贸网站搭建、谷歌SEO、社媒运营、企业WhatsApp管理、外贸管理软件、AI应用,【联系我】

微信扫一扫 或 点击链接联系我

仍有疑问,点击 链接,加个 微信 好友,一起交流。

发表评论