当前位置:主页 > 新闻资讯 > 搜索优化 >

石家庄网站建设搜索引擎抓取的屏蔽技术

发表日期:2016-01-31 17:12:19 文章编辑:荣力达科技浏览次数:

  我们都知道当我们看到需要屏蔽抓取的网站页面的时候,大多数SEO想到的都是使用robots.txt文件。因为在我们的认知中,robot文件可以有效的杜绝搜索引擎抓取某些页面。但是要知道,虽然这个方式很不错,但是更多时候小编认为它更比较适合于在石家庄网站建设没有完成,为了避免之后的死链或者考察期而存在的。

  若单单为了屏蔽某个搜索引擎的抓取,我们大可不必为空间造成负累,只要使用一点简单的代码即可。例如,我们要屏蔽百度蜘蛛的抓取即可。当然这仅仅是屏蔽百度抓取的方式,如果想要任何一个搜索引擎,只要将Baiduspider更换为改搜索引擎的蜘蛛即可。

  常见搜索引擎蜘蛛名称如下:

  1、baiduspider 百度的综合索引蜘蛛

  2、Googlebot 谷歌蜘蛛

  3、Googlebot-Image 专门用来抓取图片的蜘蛛

  4、Mediapartners-Google 广告联盟代码的蜘蛛

  5、Yahoo Slurp 雅虎蜘蛛

  6、Yahoo! Slup China 雅虎中国蜘蛛

  7、Yahoo!-AdCrawler 雅虎广告蜘蛛

  8、YodaoBot 网易蜘蛛

  9、Sosospider 腾讯SOSO综合蜘蛛

  10、sogou spider 搜狗综合蜘蛛

  11、MSNBot Live 综合蜘蛛

  但,如果你要屏蔽所有的搜索引擎,那么就要使用robot文件了。

  在代码中禁止建立网页快照的命令是noarchive。所以如果我们对于搜索引擎有限制,就根据自己的禁止快照对象,将代码加在网页的与直接即可;反之,在不要添加任何一条代码,就可以保证各大搜索引擎能够正常访问网站并且建立快照。

相关新闻

石家庄网站建设中为何首...

  做SEO的都知道,首页权重比内页高,为什么都是这样呢?下面石家庄网站建设公司......

日期: 2016-01-31 17:12:19 浏览次数:

简述石家庄网站建设网站...

根据访问者的IP来对国际站进行跳转,比如美国ip的用户直接访问或者根据关键词进来......

日期: 2016-01-31 17:12:19 浏览次数:

石家庄网站建设中站内程...

核心提示:一般而言代码方面我们不会去碰它,但如果遇到浏览器兼容问题以及网站速......

日期: 2016-01-31 17:12:19 浏览次数:

石家庄网站建设如何提高...

石家庄网站建设后,需要进行网站维护,这时候就需要进行外链的发布了,那么怎样提......

日期: 2016-01-31 17:12:19 浏览次数:

 
咨询热线:
133-8329-2238
在线客服:
商务
技术
客服
微信客服:
公司官网: www.ronglida.net.cn