feier0 2015-08-09
蜘蛛陷阱(Spider Trap),指的是由于网站内部结构的某种特征,使搜索引擎蜘蛛陷入无限循环,无法停止爬行。最典型的蜘蛛陷阱就是某些页面上的万年历,搜索引擎蜘蛛可以一直单击“下个月”进入无限循环。
真正的蜘蛛陷阱分为两种,一种是恶意蜘蛛陷阱,也就是大家通常说的黑帽,恶意蜘蛛陷阱的概念就是人为估计利用搜索引擎漏洞或者故意破坏搜索引擎优化规则的蜘蛛陷阱,这就叫做恶意蜘蛛陷阱。
而另一种蜘蛛陷阱也就是非恶意蜘蛛陷阱,非恶意蜘蛛陷阱的特性是在优化的时候不小心不故意的再自己网站中出现搜索引擎不支持的东西,这就叫做非恶意蜘蛛陷阱,因为非恶意蜘蛛陷阱只是不能成功的抓取信息,所以不能破坏搜索引擎爬行规则,所以非恶意蜘蛛陷阱不会像而已蜘蛛陷阱的处罚那么严格,但是大量的出现非恶意蜘蛛陷阱也是可以导致网站排名不升的原因之一。
1、flash
有的朋友会问,为什么flash是蜘蛛陷阱的一种,其实这个问题很简单,大家有没有发现,flash出现在我们的网站中时,它是以一大串乱码生成的,而这串乱码是搜索引擎无法识别的,所以当蜘蛛爬行到这堆乱码的时候,蜘蛛会感觉网站不安全,甚至感觉站内新闻没有价值信息,所以直接跳出网站,所以优化做不好收录情况不好的网站基本上与flash是有一定的关系的,本人建议尽量不要使用flash,我们可以利用gif格式图片来代替flash动态图片给客户看,如果说我们必须使用flash才能完成的效果,那么我们可以使用,但是使用的不要太多,一面蜘蛛误会网站站内没有价值信息。
2、各种跳转
有很多网站都有跳转功能,其实蜘蛛爬到我们的网站的时候,他们是首先看到站内首页,然后在从首页跳入到别的页面当中,如果按照这个规则大家可以想象一下,当蜘蛛来到我们的网站后,首页直接跳转到另一个页面,这个时候蜘蛛会感觉到网站首页没有信息,所以网站可能是一个不安全网站,或者没有价值信息的网站,最后有可能直接跳出去,最后导致网站不能成功做排名。
3、动态url
动态的url大家有没有发现收录永远超不过那些静态的url地址,有的朋友可能不明白为什么,其实很简单,动态的URL地址都是调用出来数据库信息,然后自动生成的页面,如果说一个人而已的再数据库中放入大量的垃圾信息,然后蜘蛛一直在里面循环爬行强制收录,那么蜘蛛岂不是很危险,所以蜘蛛起初不愿意冒这个险,所以动态的URL地址是很难开始做收录的,而且会给蜘蛛不安全的感觉。
4、JS太多
JS是搜索引擎蜘蛛无法爬行的,这一点我相信很多朋友都知道,但是我们明知山有虎偏向虎山行,明知道JS搜索引擎不能爬行,但是还是有很多站长利用JS来做导航,甚至还有的站长利用JS生成页面,大家想想,这样的网站能做好排名么?所以尽量避免使用JS,一面给我们网站带来麻烦,少量的使用可以,但是大量的使用不提倡啊。
5、强制登陆
其实有很多论坛都是喜欢登陆以后才能让别人看帖,这样的情况下虽然给论坛提了一个高度,但是对于蜘蛛来说他们是无法看到信息的,大家想一下,如果强制登陆,那么蜘蛛会到你网站后自动的注册成为你们会员在去收录信息么?这不是天方夜谭么,所以大家注意了强制登陆坑爹啊。
6、网站结构过于复杂
其实网站的结构就等于我们的家,蜘蛛就是我们邀请而来的朋友,当朋友来到你家后看到的是一个乱糟糟的地方,那么你的朋友还会在来你家么?所以同样的道理,架构乱的网站当蜘蛛爬行一次以后,下一次在让蜘蛛爬行那是很难的,搜易大家要理解蜘蛛。
7、站内文章相关性不强
现在有很多网站没有那么多产品新闻或者相关行业新闻,所以就在网上随便搜索,最后更新的新闻与自己行业一点关系都没有,其实这样的新闻一个两个也就不值得一提了,如果说大量的不相关新闻出现在网站当中,当搜索引擎发现,会下达命令不要在让蜘蛛爬行这个网站了,最后你网站的收录就会越来越少,最后可能会被K。
8、站内权重不分明
大家有没有发现,权重不明的网站容易被K,所以说权重不分明的网站虽然是没有做什么违法的事情,但是在蜘蛛眼里权重不分明就是恶意推广,也就是推广过渡,大家都知道推广过渡的网站最后的后果就是被K。
9、网站严重错位
网站前台严重错位浏览器的问题,这一点不用说,但是当蜘蛛爬行你网站的时候你的网站前台还是错位很严重的话,那么着就不是浏览器的问题了,所以大家经常看一下蜘蛛的快照显示,是否有错位,有错位的话,赶紧纠正以免蜘蛛误伤到你的网站。
10、强制吸引蜘蛛逗留站内
所谓的强制吸引蜘蛛逗留站内的意思就是说而已的利用蜘蛛爬行的规则,无限制的给蜘蛛呈现新的文章,舞蹈蜘蛛无限循环爬行,这样的网站你还是不要做,因为最后的后果也是被K,所以大家不要耍小聪明。
最近,一个名叫 Magi 的搜索引擎成了重点关注对象,据称这个搜索引擎和我们常见的搜索引擎很不一样,有一种程序员们钟爱的 X 冷淡风格。于是我们打开 Magi 看了看。确实,这个页面看着就很让人舒爽。