零基礎寫Java知乎爬蟲之將抓取的內容存儲到本地

說到Java的本地存儲，肯定使用IO流進行操作。
首先，我們需要一個創建文件的函數createNewFile：

複製代碼 代碼如下:

public static boolean createNewFile(String filePath) { 
        boolean isSuccess = true; 
        // 如有則將”\\”轉爲”/”,沒有則不產生任何變化 
        String filePathTurn = filePath.replaceAll(“\\\\“, “/”); 
        // 先過濾掉文件名 
        int index = filePathTurn.lastIndexOf(“/”); 
        String dir = filePathTurn.substring(0, index); 
        // 再創建文件夾 
        File fileDir = new File(dir); 
        isSuccess = fileDir.mkdirs(); 
        // 創建文件 
        File file = new File(filePathTurn); 
        try { 
            isSuccess = file.createNewFile(); 
        } catch (IOException e) { 
            isSuccess = false; 
            e.printStackTrace(); 
        } 
        return isSuccess; 
    } 

然後，我們需要一個寫入文件的函數：

複製代碼 代碼如下:

public static boolean writeIntoFile(String content, String filePath, 
            boolean isAppend) { 
        boolean isSuccess = true; 
        // 先過濾掉文件名 
        int index = filePath.lastIndexOf(“/”); 
        String dir = filePath.substring(0, index); 
        // 創建除文件的路徑 
        File fileDir = new File(dir); 
        fileDir.mkdirs(); 
        // 再創建路徑下的文件 
        File file = null; 
        try { 
            file = new File(filePath); 
            file.createNewFile(); 
        } catch (IOException e) { 
            isSuccess = false; 
            e.printStackTrace(); 
        } 
        // 寫入文件 
        FileWriter fileWriter = null; 
        try { 
            fileWriter = new FileWriter(file, isAppend); 
            fileWriter.write(content); 
            fileWriter.flush(); 
        } catch (IOException e) { 
            isSuccess = false; 
            e.printStackTrace(); 
        } finally { 
            try { 
                if (fileWriter != null) 
                    fileWriter.close(); 
            } catch (IOException e) { 
                e.printStackTrace(); 
            } 
        } 
 
        return isSuccess; 
    } 

我們把這兩個函數封裝到一個FileReaderWriter.java文件中以便後續使用。
接着我們回到知乎爬蟲中。
我們需要給知乎的Zhihu封裝類加個函數，用來格式化寫入到本地時的排版。

複製代碼 代碼如下:

public String writeString() { 
        String result = “”; 
        result += “問題：” + question + “\r\n”; 
        result += “描述：” + questionDescription + “\r\n”; 
        result += “鏈接：” + zhihuUrl + “\r\n”; 
        for (int i = 0; i < answers.size(); i++) { 
            result += “回答” + i + “：” + answers.get(i) + “\r\n”; 
        } 
        result += “\r\n\r\n”; 
        return result; 
} 

OK，這樣就差不多了，接下來吧mian方法中的System.out.println改成

複製代碼 代碼如下:

// 寫入本地 
        for (Zhihu zhihu : myZhihu) { 
            FileReaderWriter.writeIntoFile(zhihu.writeString(), 
                    “D:/知乎_編輯推薦.txt”, true); 
        } 

運行，便可以看到本來在控制檯看到的內容已經被寫到了本地的txt文件裏：

大體一看沒什麼問題，仔細看看發現問題：存在太多的html標籤，主要是<b>和<br>。
我們可以在輸出的時候對這些標記進行處理。
先把<br>換成io流裏面的\r\n，再把所有的html標籤都刪除，這樣看起來便會清晰很多。

複製代碼 代碼如下:

public String writeString() { 
    // 拼接寫入本地的字符串 
    String result = “”; 
    result += “問題：” + question + “\r\n”; 
    result += “描述：” + questionDescription + “\r\n”; 
    result += “鏈接：” + zhihuUrl + “\r\n”; 
    for (int i = 0; i < answers.size(); i++) { 
        result += “回答” + i + “：” + answers.get(i) + “\r\n\r\n”; 
    } 
    result += “\r\n\r\n\r\n\r\n”; 
    // 將其中的html標籤進行篩選 
    result = result.replaceAll(“<br>”, “\r\n”); 
    result = result.replaceAll(“<.*?>”, “”); 
    return result; 
} 

這裏的replaceAll函數可以使用正則，於是所有的<>標籤在最後就都被刪除了。