• 登录
社交账号登录
【链99】多资源化外链平台,专业的高质量seo锚文本外链,值得您的信赖!
上一张 下一张
查看更多

您现在的位置: 主页 > seo优化技巧 > 什么是robots.txt

什么是robots.txt

来源:链99外链代发平台 发布时间:2022-06-07热度:
在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场...

在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。

Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么。

但是我们需要注意的几点:

1.robots.txt必须存放在网站的根目录下。

2.其命名必须为robots.txt

3.Robots.txt是搜索引擎访问网站的第一个页面

4.Robots.txt中必须指明user-agent

本文地址:http://www.links99.cn/youhuajiqiao/11582.html

0
关闭