JAVA编写网络爬虫笔记（第一部分:URL链表的结构）

一开始拿到写爬虫的任务还是挺迷茫的，没什么头绪，甚至还不知道什么是爬虫，要怎样写。于是，在网上找到了《自己动手写爬虫》的这本书，花了几天的时间去看，略有小成就。

一、我们要理解一下一个简单爬虫实现的原理：通过URL下载网页代码并解析找到我们所需要的内容，并通过这网页上的链接访问其他URL，重复操作。在这里就要说一下URL是什么：其实就是我们要访问的网页地址（存储在服务器上的一个文件）。

二、我们分析完原理后，就要设计这个项目的代码结构了。首先，我们要有一个类来输入URL然后测试，这个类我写成了MyCrawler类。第二，既然是要下载网页的代码，就要有一个DownloadFile类，功能是给它一个URL，把这个URL的网页源代码下载到本地。第三，我们要访问这个网页的URL，就要先获取这个网站上的所有URL，存放到一个未访问链接的表中，并且访问其中的URL后，就把已访问的URL放到已访问链表中，下次访问URL的时候先判断这个URL是否在未访问链表中，是就访问，否就跳过并进行下一次访问，于是就设计了两个这样的表：Queue(一个链表，里面有入列，出列，判断等等方法)和LinkQueue()（里面有visitedurl和unvisitedurl两个成员变量和入列，出列，判断等方法）

三、设计好代码结构后，就到代码的具体实现了，第一部分我就把链表的结构详细展示给大家看
Queue.java (把URL保存到链表中主要的目的是方便增加，删除，判断)

import java.util.LinkedList;


public class Queue {
    /**
     * 队列，保存将要访问的URL
     * */
    //使用链表实现队列
    private LinkedList queue =new LinkedList();
    //入队列
    public void enQueue(Object t){
        queue.addLast(t);
    }
    //出队列
    public Object deQueue(){
        return queue.removeFirst();
    }

    //判断队列是否为空
    public boolean isQueueEmpty(){
        return queue.isEmpty();
    }
    //判断队列是否包含t
    public boolean contians(Object t){
        return queue.contains(t);
    }
    public boolean empty(){
        return queue.isEmpty();
    }


}

LinkQueue.java（把visitedUrl声明为HashSet结构是因为，已访问的url列表中不存在两个相同的URL）

import java.util.HashSet;
import java.util.Set;

public class LinkQueue {
        //已访问的url集合
    public static Set visitedUrl=new HashSet();
    //待访问的url集合
    public static Queue unVisitedUrl=new Queue();
    //获得URL队列
    public static Queue getUnVisitedUrl(){
        return unVisitedUrl;
    }
    //添加到访问过的URL队列中
    public static void addVisitedUrl(String url){
        visitedUrl.add(url);
    }
    //移除访问过的url
    public static void removeVisitedUrl(String url){
        visitedUrl.remove(url);
    }
    //未访问的URL出队列
    public static Object unVisitedUrlDeQueue(){
        return unVisitedUrl.deQueue();
    }
    //保证每个URL只被访问一次
    public static void addUnvisitedUrl(String url){
        if(url!=null &&!visitedUrl.contains(url)&&
                !unVisitedUrl.contians(url)){
            unVisitedUrl.enQueue(url);
        }

    }

    //获得已经访问 的URL数目
    public static int getVisitedUrlNum(){
        return visitedUrl.size();
    }
    //判断未访问的URL队列中是否为空
    public static boolean unVisitedUrlsEmpty(){
        return unVisitedUrl.empty();}
}

关于怎样通过访问URL去下载网页到本地，请留意第二部分。