原创 基於PostgreSQL鏈接JDBC源碼分析

前面2篇博客分析了關於JDBC使用和源碼的一些api的介紹。但是driver、connection、statement及resultSet都只是接口,定義了方法,但是並沒有具體的實現,具體實現還是得各個數據庫自己提供鏈接的jar,

原创 爬蟲記錄(3)——模擬登錄獲取cookie,訪問私信頁面

繼上一篇博文 爬蟲記錄(2)——簡單爬取一個頁面的圖片並保存 ,今天我們通過httpclient模擬表單登錄開源中國,獲取cookie,然後通過cookie訪問個人私信頁面。 1、準備工作 模擬表單登錄,首先需要

原创 從零開始搭建自己的網站二十:雲服務器安全組規則配置

去年轉了項目經理,第一次從頭開始管理一個項目,忙於各種事情。上一篇博客時間還停留在2018年4月17日,快一整年沒寫博客了,從今天開始,我會繼續更新下去。 1、服務器中毒 在一年中,我也沒去關注我的個人網站,結果發現網站已經被黑客入侵,植

原创 Java微信分享接口開發

Java微信分享,步驟是 1、根據當前的url,獲取signature,nonceStr,timestamp 和appId。 2、通過signature,nonceStr,timestamp 和appId來配置微信 wx.conf

原创 爬蟲記錄(5)——爬到的文件信息保存到數據庫

繼續之前的博文, 我們這裏用的是mysql數據庫,首先得導入mysql驅動jar包 mysql-connector-java-6.0.6.jar。 1、編寫一個JDBC連接池ConnectionPool package c

原创 爬蟲記錄(6)——爬蟲實戰:爬取知乎網站內容,保存到數據庫,並導出到Excel

前面幾篇文字我們介紹了相關的爬蟲的方法爬取網站內容和網站的圖片,且保存到數據庫中。 今天呢,我們來次實戰練習,爬取知乎網站跟話題網站top的幾個問題和答案,然後保存到數據庫中,最後把數據庫中的所有內容再導出到Excel中。我們還是

原创 筆試題分析(1)

最近看到一個筆試題目: 10W個文本文件存放在/opt/test/目錄及其子目錄下,每個文件的大小爲1M。 統計文件中的字母A出現的個數。 4核CPU,8G內存。 看到這樣的題目,首先想到的方法是遍歷所有文件,然後把每個文件中

原创 JAVA通過JS調用生成二維碼

此文是通過QRcode來生成二維碼。 需要引入的jar包是 Qrcode_swetake.jar qrcode.jar 很多時候需要通過前端傳入一些參數到後臺,然後後臺生成這些參數的二維碼圖片發送到前端展

原创 Springboot logback日誌配置

Spring Boot支持Java Util Logging、Log4J、Log4J2和Logback作爲日誌框架,無論使用哪種日誌框架,Springboot已爲當前使用日誌框架的控制檯輸出及文件輸出做好了配置。 我們這裏用Log

原创 爬蟲記錄(2)——簡單爬取一個頁面的圖片並保存

繼上一篇文章 爬蟲記錄(1)——簡單爬取一個頁面的內容並寫入到文本中 這代碼,我們在之前類中增加了一些其他的方法 1、爬蟲工具類,用來獲取網頁內容 package com.dyw.crawler.util; import j

原创 爬蟲記錄(4)——多線程爬取圖片並下載

還是繼續前幾篇文章的代碼。 當我們需要爬取的圖片量級比較大的時候,就需要多線程爬取下載了。這裏我們用到forkjoin pool來處理併發。 1、DownloadTask下載任務類 package com.dyw.crawle

原创 爬蟲記錄(1)——簡單爬取一個頁面的內容並寫入到文本中

1、爬蟲工具類,用來獲取網頁內容 package com.dyw.crawler.util; import java.io.BufferedReader; import java.io.InputStream; import

原创 從零開始搭建自己的網站二十八:springboot配置shiro權限,並在freemarker上進行權限控制

我們這裏通過shiro來進行權限控制,今天要講的就是在springboot中配置shiro。 1、引入shiro包 第一個是shiro的核心包,第二個是freemarker上使用shiro標籤的包 compile('org.apache

原创 從零開始搭建自己的網站二十六:網站源代碼分享

在前面的二十五篇文章中,我介紹了從零開始搭建一整套的個人網站,也有很多同學留言能不能分享下源代碼。 其實,如果認真看我的每篇博文的話,倒也是能自己寫出來的,畢竟每個人的編碼習慣也是有點不一樣的。 其實在首頁的關注本站中有我創建的一個QQ羣

原创 從零開始搭建自己的網站二十七:換成HTTPS協議,配置SSL證書

HTTPS(全稱:Hyper Text Transfer Protocol over Secure Socket Layer 或 Hypertext Transfer Protocol Secure,超文本傳輸安全協議),是以安全爲目標的