如何查看网站被百度抓取的情况？
精贴
置顶
1546
0
百度用于抓取网页的程序叫做Baiduspider - 百度蜘蛛，我们查看网站被百度抓取的情况主要是分析，网站日志里百度蜘蛛Baiduspider的活跃性：抓取频率，返回的HTTP状态码。
查看日志的方式：
通过FTP，在网站根目录找到一个日志文件，文件名一般包含log，下载解压里面的记事本，这即是网站的日志，记录了网站被访问和操作的情况。
因为各个服务器和主机的情况不同，不同的主机日志功能记录的内容不同，有的甚至没有日志功能。
日志内容如下：
61.135.168.22 - - [11/Jan/2009:04:02:45 +0800] "GET /bbs/thread-7303-1-1.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"
分析：
GET /bbs/thread-7303-1-1.html 代表，抓取/bbs/thread-7303-1-1.html 这个页面。
200 代表成功抓取。
8450 代表抓取了8450个字节。
如果你的日志里格式不是如此，则代表日志格式设置不同。
很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。
抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字，我们一般通过多日的日志对比来判断。当然，我们希望百度蜘蛛每日抓取的次数越多越好。
在网站出现问题的情况下，通过查看网站日志，查看网站的HTTP返回值是否正常，这篇文章总结了常见的HTTP返回值：http://www.wuxuxiao.com/news/newsview.html?id=139
今日天气
···
···
···
···
近一月回答榜 - TOP 12
钻石VIP
吴旭晓
普通会员
令王告白
普通会员
心如仓井空似水
普通会员
messi
普通会员
沧州华欧煤气炉
普通会员
孙文强
普通会员
lucifo
普通会员
xxxxxxx
普通会员
饼饼
普通会员
ucase
普通会员
留下足迹
普通会员
小谨夜
博客标签
- 热门排行
- CSS cursor鼠标样式一览表 2012/6/25
- .NET后台写JS代码 2011/11/3
- 网站地址多出jdfwkey的问题解析及... 2010/8/25
- 百度、google、Yahoo网站地图制作... 2011/1/30
- 数据库xxx的日志已满,请备份该数... 2013/7/19
- <a>标签的伪类书写顺序问题... 2010/9/4
- CEO名言 2010/8/31
- 什么是长尾关键词？ 2010/9/24
- Mysql 主从数据库同步 2010/9/12
- 用ASP实现网页BBS 2010/11/1
- 博主推荐
- 网站title标题如何正确修改不会被... 2013/8/26
- ASP .NET MYSQL 的简单分页 并不... 2013/8/19
- 网站有弹窗广告这样的站点，百度... 2013/8/17
- 做淘宝SEO优化需要注意的8大问题 2013/8/17
- 淘宝网怎么做SEO优化 2013/8/17
- 站长们要学习的“苍井空精神” 2013/8/17
- 苹果公司今日发布了iOS 7第五个开... 2013/8/7
- 小米1刷V5系统WIFI不能连接解决办... 2013/8/1
- 本博客手机版上线咯！会员后台也... 2013/7/31
- Win7系统环境安装配置PHP开发环境... 2013/7/29
- 随便看看
- Powerpoint快捷键大全 2010/9/9
- 如何轻松打造ASP计数器 2010/11/1
- 用电脑需避讳的几个小动作 2010/11/8
- Baiduspider - 百度蜘蛛 2010/10/2
- 浅谈如何构建高效的MySQL分页 2013/8/19
- Asp编码优化技巧8则 2010/10/21
- 描述标签到底应该怎么写？ 2010/9/19
- Java 程序调用命令行代码介绍 2013/6/24
- 【小木桩】继承viewgroup实现左侧... 2013/6/27
- Google网站分析工具功能详解 2010/10/2