域名预订/竞价，好“米”不错过
本文大纲：
1、爬虫是什么？反爬虫又是什么？
2、爬虫有哪些分类？
3、爬中流程与搜索引擎工作流程
4、http/https协议与状态码
5、robots协议
爬虫是什么？反爬虫又是什么？
这里的爬虫不是我们生活中的爬虫，如蜘蛛。这里的爬虫更多指的是网络爬虫，即我们叫它网页蜘蛛或网络机器人。当然，在SEO里，叫网页蜘蛛更多。
网络爬虫，是一种按照一定规则，自动地抓取互联网上的信息的一种程序。他有一个英文名叫spider，比如百度网页蜘蛛就叫baiduspider，那搜狗的就叫Sogou spider。
这也是我们SEO人员做网站优化排名会听说的一个词。网站为啥没收录呢？原来蜘蛛没来抓取！如何看这个爬虫蜘蛛朋友来没来呢，让技术把网站日志下载给我们，我们就可以判断了，你说算不算好朋友？
百度爬虫是什么？Baiduspider是啥？
Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到网站上的网页。百度还有哪些蜘蛛呢？如下图。最多是圈中这个，记得哈~
