黑帽百科论坛

 找回密码
 立即注册
查看: 2907|回复: 0

什么是robots协议,robots协议的书写格式

[复制链接]
 楼主| 发表于 2021-12-13 18:34:11 | 显示全部楼层 |阅读模式
,robots协议是一个网站根目录下的一个txt文本文件,当搜索引擎蜘蛛在访问某个网站时,都会检查这个网站的根域下是否有这么一个文本文件。所以,它同时也是搜索引擎蜘蛛来到你站点抓取的第一个文件,这个robots文件的作用就是针对蜘蛛让它对你的站点哪些内容抓取还是不抓取,给搜索引擎的一个协议,它能够很好的保护用户信息,网站隐私等。,注意:以上都是英文状态下输入,包括冒号,空格,冒号之后有一个英文状态下的空格,首页要字母大写,并且写的都是相对路径,而不是绝对路径。,例如:,
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表