原创 記錄《自己動手寫網絡爬蟲 》書中涉及的內容學習一些算法
第1篇 自己動手抓取數據 第1章 全面剖析網絡爬蟲 3 1.1 抓取網頁 4 1.1.1 深入理解URL 4 1.1.2 通過指定的URL抓取 網頁內容 6 1.1.3 Java網頁抓取示例 8 1.1.4 處理HTTP狀態
2020-02-23 01:46:37
原创 利用Jakarta Commons組件beanutils、dbutils簡化JDBC數據庫操作
雖然現在出現了很多ORM框架，可是還是有很多朋友也許還在使用JDBC，就像我現在一樣，除了學習的時候在使用Hibernate、Spring類似這些優
2020-02-23 01:46:37
1
原创 爬蟲技術
網絡爬蟲是一個自動提取網頁的程序，它爲搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。下面一系列文章將對爬蟲技術做詳細的介紹，希望大家最終能夠做出自己喜愛的爬蟲。網絡爬蟲技術 隨着網絡的迅速發展，萬維網成爲大量信息的載體，如何有效地提取
2020-02-23 01:46:37
原创 如何繪製雙代號時標網絡圖
雙代號時標網絡圖是結合雙代號網絡圖和橫道圖優點而產生的一種應用廣泛的網絡計劃圖。 如何繪製雙代號網絡圖？我們通常用間接繪製法，分四步。 下面舉例說明 工序代號 緊前工序 工序時間 A
2020-02-23 01:46:37
原创 proxool 0.9.1，解決 Attempt to register duplicate pool 異常
今天客戶發來的日誌中發現異常。該異常偶爾在程序啓動的時候出現。 [java] view plaincopy java.sql.SQLException: org.logicalcobwebs.proxool.ProxoolExce
2020-02-23 01:46:37
原创 深入學習jquery mobile 頁面模版（1）
在美國，IOS和Android設備佔了很大比重，而美國以外的地方主要是Nokia的設備佔統治地位。jQueryMobile爲了在儘可能多的 設備上運行，承諾將支持絕大部分移動設備/系統。在早些時候（2010年9月），jQuery
2020-02-23 01:46:37
原创 初識Spring Boot
前言：Spring Boot旨在簡化Spring的開發，因此學習Spring Boot的時候就不可避免需要涉及到Spring的方方面面。Spring Boot將很多魔法帶入了Spring應用程序的開發之中，在spring Boot中有四
2018-09-03 06:43:23
3
原创 storm簡介
場景 伴隨着信息科技日新月異的發展，信息呈現出爆發式的膨脹，人們獲取信息的途徑也更加多樣、更加便捷，同時對於信息的時效性要求也越來越高。舉個搜索場景中的例子，當一個賣家發佈了一條寶貝信息時，他希望的當然是這個寶貝馬上就可以被賣家搜索出來
2018-09-03 06:43:09
原创 需求分析與系統設計的面向對象推導過程
幾年前寫的了，這兩天整理東西的時候又給翻出來了，當時是公司讓給我給設計人員講講如何寫面向對象的設計說明書，所以臨時東拼西湊的弄了這麼個東西，畢竟是用於內部培訓的，有些東西都是直接從網上整段COPY的，最多就是用自己的話又修飾了一遍，
2018-09-03 06:42:53
原创 Java中通過dom4j讀取配置文件實現抽象工廠+反射
在Donet中實現反射的主要原理是：將差異配置在config配置文件裏面，並利用接口，通過在U的bin路徑下面找到具體實現的名字來使程序運行。 在Java中也可以同Donet一樣，將差異配置在配置文件裏面。另外，我們採用下面的方式實現
2018-09-03 06:42:50
3
原创 別具匠心的HTTP應用層行爲設計
今年的年初，有位兄弟在QQ跟我討論一個較爲少見的報文交互情況，我當時在看了具體的報文交互之後，對他說是某種HTTP探測機制，他則對我說有人認爲是某種SACK的重傳機制，記得我曾說過我會找時間好好研究一下這個交互的行爲，後來的確也寫了一些
2018-09-03 06:42:50
原创 Spark Core核心編程之廣播變量剖析
本文轉自AiTi修煉|大數據技術窺探 記錄一些個人學習Scala,Spark,Hadoop,Storm,Nodejs,RSpark,Storm,Hbase,Hive,Flume等IT技術的歷程 如果深入思考spar
2018-09-03 06:42:47
原创 轉載hadoop實踐路上異常問題以及相關解決方法記錄
hadoop實踐路上異常問題以及相關解決方法記錄，這篇文章不錯，幫我解決了hadoop幾個折騰了好久的問題，記錄一下。 原文轉載自：http://rscala.com/index.php/38.html
2018-09-03 06:42:47
原创 spark學習之combineByKey函數
在數據分析中，處理Key，V alue的Pair數據是極爲常見的場景，例如我們可以針對這樣的數據進行分組、聚合或者將兩個包含Pair數據的RDD根據key進行join。從函數的抽象層面看，這些操作具有共同的特徵，都是將類型爲RDD[(K
2018-09-03 06:42:45
1
原创 網絡分析能力修行模型
概述 數次應業內朋友之邀，爲其團隊培訓網絡分析技術，從第一次開始，我就着手架構這個能力修行模型的框架，但還不夠完善和成熟。隨着我對網絡分析技術理解的深入和本身水平的提升以及培訓次數的增加，我不斷的將其完善，並最終形成現在的雛
2018-09-03 06:42:45