由于web前端技术的日新月异，传统爬虫对页面的爬取结果愈发不能满足用户的需求。对于安全领域来讲，如果关注网站安全，那么获取页面的内容信息是第一步需要做的事情，所以开发出一款能够获取基于ajax实现的动态页面的爬虫是很有必要的。
在写爬虫之前，我们首先需要了解爬虫的原理。对于我们需要获取页面内容的目标网站而言，其页面内容可以看做是从首页扩展出来的一张图，而爬虫要做的事情就是遍历这一张图的每个节点，获取节点的页面信息。利用数据结构的知识我们知道，只需要利用最简单的宽度优先算法就可以实现。广度优先算法的算法原理如下所示：
从页面1中扩展出子页面2,3,4，然后分别扩展2,3,4，得到他们自己的子页面，广度优先算法就是基于这样逐层的扩展完成算法流程的。我们可以利用一个队列来存储这些节点，队列先进先出的特性，刚好符合广度优先算法逐层扩展的算法逻辑。在整个广度优先遍历的过程中，需要对已经爬取过的链接节点进行标记，避免重复爬取。同时为了增加爬虫的执行效率，需要对该算法进行并发上的优化，最简单的优化方式就是在对每一层的页面节点进行扩展的采取按层并发执行，具体的实现就是对于每一个页面节点存储一个层数信息，当前节点的层数等于父层节点的层数+1，在广度优先对队列中的节点进行出队操作时，一次性将某层的所有节点全部取出来，然后放入到一个执行线程池中，线程池会在全部任务执行完之后返回。同时，可以通过给执行线程池配置不同的线程数，达到控制被爬网站最大并发爬取数的目的。避免因爬虫造成对方网站的损失。自此，爬虫调度引擎便实现完成了。下面，我将以Java代码的方式给大家简单讲解上面的流程。