介绍
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
配置
该配置可以管理我们想要搜索引擎爬取的内容，Allow表示允许被访问的，Disallow是不允许的意思。注意后面两个Sitemap就是网站地图了。而网站地图前面说了是给爬虫用的。这里配置在robots中。可参考如下配置：
# 允许所有用户代理的浏览器爬虫进行访问（爬起数据）
User-agent: *
# 允许访问的内容
Allow: /
Allow: /2019/
Allow: /archives/
Allow: /categories/
Allow: /page/
Allow: /photos/
Allow: /tags/
# 不允许访问的内容
Disallow: /assets/
Disallow: /fonts/
Disallow: /img/
Disallow: /js/
Disallow: /music/
Disallow: /css/
Disallow: /*.js
Disallow: /*.css
# 网站地图Sitemap
Sitemap: https://www.yansheng.xyz/sitemap.xml
Sitemap: https://www.yansheng.xyz/baidusitemap.xml
进入搜索引擎管理平台更新robots
Google Search Console: https://www.google.com/webmasters/tools/home?hl=zh-CN
百度站长平台: http://zhanzhang.baidu.com/
robots.txt 生成器
配置相关参数，自动生成robots内容的网站：
文章首发于：hexo+yilia添加添加robots配置
