robots.txt是一个相当重要的文件，但也是最容易被站长忽略的，如果你现在还没有重视起网站的robots，请小心你的robots文件，仔细检查并且随时关注。
robots.txt是处于网站根目录的一个文件，旨在告诉搜索引擎，哪些内容可以索引，哪些内容不能索引，很多网站程序都自带robots文件，也有一些网站程序没有自带robots文件，自带的robots一般设置比较简单，但已经可以满足基本的需求，如果不懂得设置robots，可以直接使用默认的robots，如果程序本身没有自带robots文件，可以参考一下其它站点的robots文件，本博客设置了允许所有搜索引擎抓取。
如果想了解更多关于robots的知识，可以参考百度站长平台对于robots的介绍和使用方法，在那里可以得到更详细的内容，地址：https://zhanzhang.baidu.com/robots/index，为什么想起来说一下robots文件呢，因为我的博客收录最近出现了异常，找了很多原因都没有找到，最后通过百度站长平台才发现了问题，原来是robots文件禁止了百度抓取。我正觉得奇怪呢，为什么百度蜘蛛每天都来，每天都在抓取首页，但为什么就是不抓取内页呢，而博客的快照也一直停留在9月份，原来是robots在作怪，于是今天早上赶紧修改，希望百度能及时抓取新的robots文件。
不管是自己设置错误，还是被人恶意修改，都请大家重视起robots文件，当网站收录出现异常时，不妨注意下自己的robots文件，在网站安全维护上，我们更多关注的网站是否被篡改，是否被挂黑链等，很少去关注robots文件，如果不是因为百度站长平台的提醒，我还一直蒙在鼓里，不知道怎么回事呢，为了站点安全，建议站长每隔一段时间可以检查一下自己的robots，观察是否为正常状态，也可以对正常的robots文件进行备份，一旦发现异常以后，用正确的备份文件覆盖被修改文件。还望博主的经历能够给站长朋友带来一些警醒，也请站长朋友们对robots有所重视，小心谨慎的对待站点的robots，不要设置错误和被恶意修改。
