Baiduspider - 百度蜘蛛
精贴
置顶
1665
0
Baiduspider - 百度蜘蛛：
百度是如何收录到那么多网页的呢？这个百度用以抓取互联网上数以亿计的网页的程序，就叫做Baiduspider - 百度蜘蛛。
它是一个程序，夜以继日得在互联网上找寻新的URL，接着抓取URL上的内容，返回到百度的网页暂存数据库。
百度用来抓取网页内容的程序，叫做Baiduspider，抓取其他内容的蜘蛛，则是新的名字：
产品名称 对应user-agent
网页搜索 Baiduspider
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro，现在我们明白它是百度联盟蜘蛛，用以百度联盟程序匹配相应的广告。
那么，其他搜索引擎的蜘蛛是什么？这篇文章介绍：Robot是什么？
今日天气
···
···
···
···
近一月回答榜 - TOP 12
钻石VIP
吴旭晓
普通会员
令王告白
普通会员
心如仓井空似水
普通会员
messi
普通会员
沧州华欧煤气炉
普通会员
孙文强
普通会员
lucifo
普通会员
xxxxxxx
普通会员
饼饼
普通会员
ucase
普通会员
留下足迹
普通会员
小谨夜
博客标签
- 热门排行
- CSS cursor鼠标样式一览表 2012/6/25
- .NET后台写JS代码 2011/11/3
- 网站地址多出jdfwkey的问题解析及... 2010/8/25
- 百度、google、Yahoo网站地图制作... 2011/1/30
- 数据库xxx的日志已满,请备份该数... 2013/7/19
- <a>标签的伪类书写顺序问题... 2010/9/4
- CEO名言 2010/8/31
- 什么是长尾关键词？ 2010/9/24
- Mysql 主从数据库同步 2010/9/12
- 用ASP实现网页BBS 2010/11/1
- 博主推荐
- 网站title标题如何正确修改不会被... 2013/8/26
- ASP .NET MYSQL 的简单分页 并不... 2013/8/19
- 网站有弹窗广告这样的站点，百度... 2013/8/17
- 做淘宝SEO优化需要注意的8大问题 2013/8/17
- 淘宝网怎么做SEO优化 2013/8/17
- 站长们要学习的“苍井空精神” 2013/8/17
- 苹果公司今日发布了iOS 7第五个开... 2013/8/7
- 小米1刷V5系统WIFI不能连接解决办... 2013/8/1
- 本博客手机版上线咯！会员后台也... 2013/7/31
- Win7系统环境安装配置PHP开发环境... 2013/7/29
- 随便看看
- 数据库查询语言(1) 2010/10/23
- ActiveX组件 2010/10/22
- 一、Web Service简介 2010/9/2
- ASP中几种分页显示的比较 2010/11/1
- 如何让打造高转化率的网站 2013/6/23
- 免费域名邮箱申请-腾讯QQ域名邮箱... 2010/8/25
- Word快捷键大全 2010/9/9
- 使用JAVA访问ACCESS数据库的方法 2013/6/24
- 55条SEO必备技巧 2010/9/7
- html中tabindex的作用 2010/9/12