腾佑科技IDC资讯中心!

SEO推广百度蜘蛛是如何进行爬行的?

2016-02-25 13:42 出处:腾佑IDC资讯 人气: 评论(



SEO
 
蜘蛛先去抓取百度白名单的网站或者一些信任度非常高的站点和页面(例如:一些高权重网站和网站的首页),在抓取这些网页的内容时发现一些指向另外一些一些页面的链接。蜘蛛会把这些链接保存在自己的数据库里面,然后再根据抓取顺序依次来抓取这些网页。
1、蜘蛛抓取网页的规则:
对于蜘蛛说网页权重越高、信用度越高抓取越频繁,例如网站的首页和内页。蜘蛛先抓取网站的首页,因为首页权重更高,并且大部分的链接都是指向首页。然后通过首页抓取网站的内页,并不是所有内页蜘蛛都会去抓取。
搜索引擎认为对于一般的中小型站点,3层足够承受所有的内容了,所以蜘蛛经常抓取的内容是前三层,而超过三层的内容蜘蛛认为那些内容并不重要,所以不经常爬取。
2、如何看蜘蛛的抓取?
通过iis日志可以看蜘蛛爬取了哪些内容,iis日志有百度蜘蛛、谷歌蜘蛛等。从iis日志里卖弄分析得出蜘蛛的类型、抓取时间、抓取的页面、抓取内容的大小以及返回的页面代码,200代表抓取顺利。
分享给小伙伴们:
本文标签:

相关文章

评论

发表评论愿您的每句评论,都能给大家的生活添色彩,带来共鸣,带来思索,带来快乐。

签名:

评论列表

    

    网站首页 关于我们 服务器租用 虚拟主机 代理加盟 网站地图

    Copyright 2007-2014 TUKJ All rights reserved 河南腾佑科技有限公司 电话:400-613-9066

    公司地址:河南省郑州市姚砦路133号金成时代广场6号楼13层 ISP证编号:豫B2-20110005