网络爬虫是SEO人员应该学习的基础知识之一，认识和理解网络爬虫有助于更好地优化网站。
网络爬虫是什么
网络爬虫，是指按照一定的规则、自动抓取互联网上信息的程序组件或脚本程序。在搜索引擎中，网络爬虫就是搜索引擎发现和抓取文档的自动化程序。
网络爬虫，简称爬虫，又被称之为网页蜘蛛、网络机器人和网页追逐者，百度搜索称之为百度蜘蛛（spider），谷歌称之为Google robot。
网络爬虫产生的背景
互联网信息大爆炸，人们不满足于仅仅依靠开放目录等传统方式在网络上寻找一些东西，为了满足不同的人的不同需求，于是出现了网络爬虫。
开放目录就好比现在的网址导航、分类目录和黄页网站。
网络爬虫面临的问题
互联网页面数量过于庞大，研究表明接近30%以上的页面都是重复的，页面不规范使得多个链接指向同一个页面。网络爬虫无法完成对互联网巨大的web信息进行完全的抓取，即便抓取也没办法完全存储。
搜索引擎架构的两个目标是效果和效率，这同样也是对网络爬虫提出的要求。面对亿级网页数量，重复内容很高，在SEO行业重复率可能在50%以上，网络爬虫面临的问题是为了提高效率和效果，就需要在一定的时间内获得更多有高质量页面，摒弃那些原创度低、复制内容、拼接内容等页面。
PS：当然，在大网站发布出来的文章，尤其大站效应，尽管不是首发，但依然排名很好，甚至比首发站排名还好。
故网络爬虫的面临的问题在于如何提升爬行效率和在单位时间内尽可能多地获取高质量页面。
网络爬虫的分类和策略
常见网络爬虫有四类：通用网络爬虫、聚焦网络爬虫、增量式网络爬虫和Deep Web爬虫。
1）通用网络爬虫
通用网络爬虫，又称为“全网爬虫”，从一些种子网站开始爬行，逐步扩展到整个互联网。
通用网络爬虫策略：深度优先策略和广度优先策略。
2）聚焦网络爬虫
聚焦网络爬虫，又称为“主题网络爬虫”，预先选择一个（或几个）相关主题，仅爬行并抓取这一类的相关页面。
聚焦网络爬虫策略：聚焦网络爬虫增加了链接和内容评价模块，所以其爬行策略的关键是评价页面的链接和内容后再进行爬行。
3）增量式网络爬虫
增量式网络爬虫，是指对已经收录的页面进行更新、爬行新页面和发生变化的页面。
增量式网络爬虫策略：广度优先策略和PageRank优先策略等。
4）Deep Web爬虫
搜索引擎蜘蛛可以爬行并抓取的页面称之为“表层网页”，某些不能通过静态链接获得的页面称之为“深层网页”，Deep Web爬虫就是抓取深层网页的爬虫体系。
网络爬虫抓取策略一般有三种形式：
- 广度优先：搜索完当前页面所有链接，才开始进入下一层。
- 最佳优先：根据一定的网页分析算法，比如链接算法和页面加权算法等，优先抓取更具有价值的页面。
- 深度优先：顺着一个链接一直爬行，直到某一页面再也没有链接，再开始爬行另外一条。但是一般都是从种子网站开始抓取，如果采用这种形式可能会造成抓取的页面质量越来越低，所以这种策略使用较少。
