robots.txt
精贴
置顶
2506
0
robots.txt是什么？
有没有想过，如果我们某个站点不让百度和google收录，那怎么办？
搜索引擎已经和我们达成一个约定，如果我们按约定那样做了，它们就不要收录。
这个写约定的的文件命名为:robots.txt。
robots.txt是一个最简单的.txt文件，用以告诉搜索引擎哪些网页可以收录，哪些不允许收录。
关于robots.txt一般站长需要注意以下几点：
- 如果你的站点对所有搜索引擎公开，则不用做这个文件或者robots.txt为空就行。
-
必须命名为：robots.txt，都是小写，robot后面加"s"。
-
robots.txt必须放置在一个站点的根目录下。如：通过http://www.wuxuxiao.com/robots.txt 可以成功访问到，则说明本站的放置正确。
-
一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。
-
观察这个页面并修改为自己的：http://www.wuxuxiao.com/robots.txt
-
有几个禁止，就得有几个Disallow函数，并分行描述。
-
至少要有一个Disallow函数，如果都允许收录，则写: Disallow: ，如果都不允许收录，则写:Disallow: / （注：只是差一个斜杆）。
补充说明：
User-agent: * 星号说明允许所有搜索引擎收录
Disallow: /links.html 说明 http://www.wuxuxiao.com/links.html 这个页面禁止搜索引擎抓取。
Disallow: /index.aspx? 说明类似这样的页面http://www.wuxuxiao.com/news/newsview.html?id=287 禁止搜索引擎抓取。
相关文章：
今日天气
···
···
···
···
近一月回答榜 - TOP 12
钻石VIP
吴旭晓
普通会员
令王告白
普通会员
心如仓井空似水
普通会员
messi
普通会员
沧州华欧煤气炉
普通会员
孙文强
普通会员
lucifo
普通会员
xxxxxxx
普通会员
饼饼
普通会员
ucase
普通会员
留下足迹
普通会员
小谨夜
博客标签
- 热门排行
- CSS cursor鼠标样式一览表 2012/6/25
- .NET后台写JS代码 2011/11/3
- 网站地址多出jdfwkey的问题解析及... 2010/8/25
- 百度、google、Yahoo网站地图制作... 2011/1/30
- 数据库xxx的日志已满,请备份该数... 2013/7/19
- <a>标签的伪类书写顺序问题... 2010/9/4
- CEO名言 2010/8/31
- 什么是长尾关键词？ 2010/9/24
- Mysql 主从数据库同步 2010/9/12
- 用ASP实现网页BBS 2010/11/1
- 博主推荐
- 网站title标题如何正确修改不会被... 2013/8/26
- ASP .NET MYSQL 的简单分页 并不... 2013/8/19
- 网站有弹窗广告这样的站点，百度... 2013/8/17
- 做淘宝SEO优化需要注意的8大问题 2013/8/17
- 淘宝网怎么做SEO优化 2013/8/17
- 站长们要学习的“苍井空精神” 2013/8/17
- 苹果公司今日发布了iOS 7第五个开... 2013/8/7
- 小米1刷V5系统WIFI不能连接解决办... 2013/8/1
- 本博客手机版上线咯！会员后台也... 2013/7/31
- Win7系统环境安装配置PHP开发环境... 2013/7/29
- 随便看看
- Google Analytics 分析的关键字怎... 2010/10/2
- 免费获得优质外链的方法大全 2010/9/7
- ASP .NET MYSQL 的简单分页 并不... 2013/8/19
- Web服务枚举不可用。需要重新安装... 2013/6/15
- VS2008切换设计视图假死机情况,以... 2013/5/3
- 网站不收录，你还在毫无思路吗? 2013/6/23
- 怎么防止别人克隆自己的网站 2013/7/21
- 使用asp.net 开发的网页程序，使... 2010/9/4
- WINISO（v5.3）注册码 注册方法 ... 2010/9/7
- 11个SEO最常见问题解答 2010/8/30