robots.txt是什么，百度能够识别robots.txt文件吗？
robots.txt是存放于网站根目录的一个txt文件，用来指引搜索引擎，哪些内容是可以收录的，哪些内容是不能收录的，具体请参考这篇文章：https://www.duanwenjie.com/589.html
在正常情况下，百度都能够识别robots文件，这一点大家不用担心，但是百度需要一个时间来调整，如果利用robots.txt屏蔽了某些URL，这些URL并不会马上消失，需要等待百度重新索取网站的robots文件以后，才会屏蔽这些URL，时间大概是一个星期左右。
一个星期之前我重新编写了段文杰SEO的robots文件，屏蔽了SEO博客的动态URL，今天早上查询SEO博客的收录时，发现收录量从2200下降到1600，我仔细的观察了每一条收录，发现动态URL几乎全部消失，剩下的基本都是静态的URL，由此可见百度是能够识别robots文件的。
robots.txt虽然只是一个很小的txt文件，但是其作用至关重大，在这里段文杰SEO提出两点建议，第一，在建站以前一定要写好robots规则，如果等到搜索引擎收录以后再改动robots文件，必然对SEO造成影响。第二，一定要注重robots文件的安全，防止被人恶意篡改。
百度识别robots文件是需要一个过程的，如果百度已经收录了以前的robots文件，后来你再一次更改了robots文件，请耐心的等待搜索引擎重新索引robots文件，一般在一个星期左右，也许时间会更长一些，搜索引擎就能按照新的robots规则进行内容抓取。
