现在的位置:首页>网站SEO>正文

是不是需要禁止搜索引擎爬取js广告代码

2016年09月17日 ⁄ 共 1695字 评论 1 条

搜索引擎的蜘蛛只有链接指向了某个页面,就会对其进行抓取,但很多时候,因为我们的网站服务器性能等各方面的原因,很多站长朋友可能在想,我们是否需要禁止搜索引擎蜘蛛抓取js广告代码或css文件,这样一来,会适当减轻服务器压力,虽然各个搜索引擎目前对js文件的识别度还相当有限,但目前来看,蜘蛛crawl这些页面还是完全能做到的.

对于css文件,部落不建议大家屏蔽蜘蛛抓取,原因很简单,其一大部分的站点,css文件的体积都不大,不会影响到抓取速度,另外一点就是,蜘蛛在建立页面快照时,大多是用div+css来建设的,如果没有css的页面,会乱得不成样子.

禁止搜索引擎蜘蛛抓取js广告代码或css文件

首先我们来看看如何禁止搜索引擎蜘蛛抓取js广告代码或css文件?这个很容易实现,我们只需要在robots.txt文件中加入以下代码就能做到:

  1. Disallow: /*.css
  2. Disallow: /*.js

当然,也可以在页面中加入nofollow 属性,不过现在的nofollow,好像还是会有蜘蛛爬取.具体的写法如下:

  1. <meta name=”robots” content=”noindex,nofllow” />

要检查是否生效,我们可以直接在百度站长工具里检查,地址是:由此直达.

是否需要禁止搜索引擎蜘蛛抓取js广告代码或css文件

是否需要禁止搜索引擎蜘蛛抓取js广告代码

这一点,我们可以先看看网上一些高手的说法:

1.夫唯 - SEOWHY创始人

我认为“蜘蛛抓取一个网站的时间是一定的,限制了某文件被抓取,则它又更多时间去抓取别的网页”,如果不成立,则完全没必要屏蔽CSS和JS了。如果成立,那要屏蔽的就不止CSS和JS了,很多没实质意义的文件都值得屏蔽.

2.站长:冯涵

经过试验和跟踪数据表明:

1>被屏蔽掉的js/css文件依然会被baidu和google大量crawl

2>屏蔽后跟踪观察其他page type 蜘蛛crawl量,发现并未增加

3>如果网站大部分js/css文件里包含较多URL可以不屏蔽,蜘蛛爬取js/css文件的同时可以爬取里面的link

4>如果网站大部分js/css文件里基本上都是代码之类的,屏蔽也可,没发现明显的好处也没发现坏处.

3.谷歌站长工具的说法

阻止你的CSS和js文件可能会影响你在谷歌的搜索排名,所以建议robots.txt不要禁止JS和CSS文件访问.

谷歌索引的建议:

网页加载速度对用户和索引依然非常重要.

屏蔽JS和CSS,谷歌索引将无法向普通用户那样读取页面.如果JS太复杂,渲染页面可能不正确.

4.百度站长优化指南

百度官方表示,排名不会考虑js文件或者css文件,也就是说js文件和css文件不参与百度排名,但是大量站长反馈,虽然禁止百度抓取js和css文件,但是百度蜘蛛还是照样抓取不误,毫无疑问,它们是用来支撑网站整体上的功能性和美观性,任何网站都需要js和css.

部落在百度官方的论坛里还看到一些说法:

蜘蛛大量抓取js和css文件一般是因为页面模板改动导致的,如果js文件中没有给用户看的内容,可以选择屏蔽.但就我知道屏蔽js和css文件并不是很好使.

部落来谈一点自己的看法,仅供参考:

1.首先如果您的主机不是很牛逼,站长平台经常性地出现抓取超时的话,可以屏蔽掉js,css文件的话,不建议屏蔽.

2.主机速度还不错的,就不要屏蔽了.

3.如果您的JS文件对于网站的样式没有什么太大的变化,只是一些广告代码之类的,或者加速类的,可以考虑屏蔽掉.

 

 

小结

部落之前发布一篇相关的网站是否需要屏蔽百度等搜索引擎抓取JS和CSS文件的文章,但意义都差不多.

一般来说,不是什么特殊的情况,确实没有必要去设置禁止爬行这样的文件.但一些网站的后台文件,需要禁止蜘蛛爬行的,一定要去设置一下.

再有就是一般我们设置了robots.txt后,也不是一天两天能见效的,一般需要7到20天左右才能看到搜索结果上的效果.所以大家不要心急.

评论 1 条 评论内容很精采,有内幕,而且绝对有干货

  1. 我爱动感单车网 2016年09月17日 11:28  @回复  Δ-49楼 回复

    不想禁止这些,一自己懒、懒得去弄,二看了本文的讲解貌似没多大必要!

给我留言