robots.txt的作用是什么，简单的说有两个作用。
第一：屏蔽动态URL
第二：屏蔽不该收录的文件
如果网站开启了静态URL，那么，就需要屏蔽动态URL，否则就会重复收录，动态链接和静态链接同时存在，影响搜索引擎优化效果，而且看上去很不美观，对用户体验也不好，所以需要利用robots协议来屏蔽动态URL，让搜索引擎只收录静态URL，形成URL的统一化。
我们还可以利用robots协议来屏蔽一些带有敏感信息的文件，提高网站的安全性。
robots.txt还有一个作用，那就是屏蔽某个搜索引擎，如果你不想让某个搜索引擎收录你的站点，可以直接利用robots协议进行屏蔽，不过很少有人会这么做，做SEO本身就是为了搜索引擎排名，如果利用robots屏蔽搜索引擎收录，很显然是不合常理的。
关于robots的更多参考资料：https://zhanzhang.baidu.com/robots/index
