开店一族

  1. 420 成员
  2. 2.5万 人气

参与评论

    浅谈蜘蛛喜欢抓取的那些页面

    帖子创建时间:  2012年12月16日 17:02 评论:0 浏览: 232 投稿

    我们都知道蜘蛛抓取爬行奉行深度优先和广度优先的规律,从理论上来说蜘蛛是可以爬完所有的页面的。但是实际上是不能的。蜘蛛抓取页面也会有所偏重,那么我们想要更多的页面被收录就需要迎合蜘蛛抓取习惯,吸引蜘蛛抓取内页。下面试分析蜘蛛喜欢抓取的那些页面。
            1、服务器稳定的网站页面。蜘蛛更喜欢稳定的网站,如果因为服务器的不稳定,导致网站经常变动,那么蜘蛛是肯定不喜欢的。
            2、网站内部建设合理的页面。网站内部建设不能充斥大量动画、框架结构或者动态路径等等,这样的结构蜘蛛是无法抓取的。网站内部建设必须符合优化因素。
            3、高权重网站的页面。高权重的网站往往内页的权重也比较高,蜘蛛对于高权重的网站是比较信任的,所以会经常光顾,而且抓取页面的深度也是比较深的。
            4、高质量原创内容。和其他动物一样,蜘蛛这个虚拟动物也喜欢吃新鲜东西,高质量原创内容往往能更大的吸引蜘蛛爬行,并能很快的收录。如果文章定时定量更新,那么百度蜘蛛也会定时来查看。
            5、与首页的点击距离越短,权重越高,蜘蛛爬行和抓取的几率也越大。
            6、高质量的外链。包括从高质量网站和高质量友情链接做的导入链接。高质量的网站都是为蜘蛛所信任的,而高质量的网站导入的链接同样会受到蜘蛛的亲睐。如果从很多平台的网站都有导入链接,达到外链的一个广度效果,那么蜘蛛也是很乐于通过导入链接爬行和抓取我们的页面。||| 页面很多啊
    1. 商家友圈官方圈
      人数:8.1万
    2. 2A以上商家圈
      人数:8.2万