什么是robots协议

robots协议是一个网站根目录下的一个txt文本文件,当搜索引擎蜘蛛在访问某个网站时,都会检查这个网站的根域下是否有这么一个文本文件。所以,它同时也是搜索引擎蜘蛛来到你站点抓取的第一个文件,这个robots文件的作用就是针对蜘蛛让它对你的站点哪些内容抓取还是不抓取,给搜索引擎的一个协议,它能够很好的保护用户信息,网站隐私等。

robots规则

User-Agent:       针对某个搜索引擎蜘蛛的规则,
Allow:                允许抓取
Disallow:           不允许抓取
*                        通配符,所有的
$                           结束符,以什么什么结尾。
/                           根目录

注意:以上都是英文状态下输入,包括冒号,空格,冒号之后有一个英文状态下的空格,首页要字母大写,并且写的都是相对路径,而不是绝对路径。

例如:

User-Agent: *                                               针对所有搜索引擎的规则
Disallow: /wp-content/                                不允许抓取这个文件夹
Allow: /wp-content/uploads/LOGO.jip        允许抓取这个文件夹里的这个张图片
Disallow: /*.js$                                             不允许抓取更目录下所有以.js结尾的文件

1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
7. 如果您也有好的资源或教程,您可以投稿发布,成功分享后有M币奖励和额外收入!

模板下载吧 SEO入门 什么是robots协议 https://www.mbxzb.com/blog/seo/seorm/16115.html

从明天起,做一个幸福的人,喂马、劈柴、周游世界…

常见问题
  • 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承
查看详情
  • 最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用
查看详情

相关文章

评论
暂无评论
点击按钮快速添加回复内容: 支持 高兴 激动 给力 加油 苦寻 生气 回帖 路过 威武 友军 顶贴
官方客服团队

为您解决烦忧 - 24小时在线 专业服务