Robots.txt 文件应放在哪里？
精贴
置顶
1630
0
Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。
例子：
http://www.wuxuxiao.com/robots.txt 有效
http://www.wuxuxiao.com/bbs/robots.txt 无效
如果你不能控制根目录的 robots.txt，则你可以通过在子目录网页中使用标签阻止网页被收录。
阅读本文的人还阅读
今日天气
···
···
···
···
近一月回答榜 - TOP 12
钻石VIP
吴旭晓
普通会员
令王告白
普通会员
心如仓井空似水
普通会员
messi
普通会员
沧州华欧煤气炉
普通会员
孙文强
普通会员
lucifo
普通会员
xxxxxxx
普通会员
饼饼
普通会员
ucase
普通会员
留下足迹
普通会员
小谨夜
博客标签
- 热门排行
- CSS cursor鼠标样式一览表 2012/6/25
- .NET后台写JS代码 2011/11/3
- 网站地址多出jdfwkey的问题解析及... 2010/8/25
- 百度、google、Yahoo网站地图制作... 2011/1/30
- 数据库xxx的日志已满,请备份该数... 2013/7/19
- <a>标签的伪类书写顺序问题... 2010/9/4
- CEO名言 2010/8/31
- 什么是长尾关键词？ 2010/9/24
- Mysql 主从数据库同步 2010/9/12
- 用ASP实现网页BBS 2010/11/1
- 博主推荐
- 网站title标题如何正确修改不会被... 2013/8/26
- ASP .NET MYSQL 的简单分页 并不... 2013/8/19
- 网站有弹窗广告这样的站点，百度... 2013/8/17
- 做淘宝SEO优化需要注意的8大问题 2013/8/17
- 淘宝网怎么做SEO优化 2013/8/17
- 站长们要学习的“苍井空精神” 2013/8/17
- 苹果公司今日发布了iOS 7第五个开... 2013/8/7
- 小米1刷V5系统WIFI不能连接解决办... 2013/8/1
- 本博客手机版上线咯！会员后台也... 2013/7/31
- Win7系统环境安装配置PHP开发环境... 2013/7/29
- 随便看看
- Sitemap-网站地图 2010/9/20
- ajaxpro.2.dll web.config配置 2013/8/22
- robots.txt文件有什么必要？ 2010/9/26
- 用asp.net获取服务器和客服端有关... 2010/8/28
- 看来我也要捐点汽油！ 2013/6/21
- ASP编程中20个非常有用的例子 2010/11/3
- .NET中进行Base64加密解密 2013/6/1
- asp.net常用代码 2010/9/11
- 两招轻松搞定Windows 7系统的自动... 2011/1/20
- JS,ASP.NET刷新本页面 2011/3/21