原创 Spark源碼初探-從spark-submit開始
深入瞭解spark的運行機制是爲了搭建集羣，編寫應用能達到更好的性能表現，甚至更加深入的瞭解還可以自己修改源碼，實現定製功能來適配自己的需求。僅僅通過一些spark架構和運行原理的描述來了解spark是遠遠不夠的，所以打算系統的看一下sp
2020-06-15 22:58:41
1
原创 使用idea構建Spark應用
操作環境：IntelliJ IDEA 14.1.5社區版 操作系統：windows7 步驟： 1、創建工程 依次：File->New->Proje
2020-06-15 22:58:31
原创 JDBC連接mysql及操作
JDBC（Java Data Base Connectivity,java數據庫連接）是一種用於執行SQL語句的Java API，可以爲多種關係數據
2020-04-19 04:54:30
原创 ubuntu安裝android studio時出錯unable to run mksdcard sdk tool的解決方法
我的ubuntu是14.04 64位版本，出現這個錯誤是由於缺少某些32位的庫導致的。 一般的解決方法如下： sudo apt-get install lib32z1 lib32ncurses5 lib32stdc++6 大多數情況下這
2020-04-19 04:54:30
原创 java動態代理模式（jdk和cglib）
爲什麼需要代理 假設有一個計算器類，類中定義了加，減，乘，除操作，然後我希望在每個方法執行前後打印一些提示信息，比如 “XX方法開始執行。。”，“XX方法結束執行。。”，要做到這一點，普通的解決方式是在每個方法前後加上 System.ou
2020-04-19 04:54:30
原创 yarn的基本架構
yarn的基本設計思想是將資源管理和job的調度和監控功能拆分成兩個單獨的守護進程。具體實現是有一個全球的ResourceManager（RM）和每
2020-04-19 04:54:30
原创 spark streaming初試之wordcount
本文來自於spark的官方文檔，在運行這個例子的時候遇到了一些問題，解決之後記錄下來這個spark streaming的wordcount例子的完整
2020-04-19 04:54:30
原创 ubuntu下VitualBox虛擬機識別USB設備的方法
雖然ubuntu很好用但是有些重要的windows軟件在ubuntu中找不到對應的linux版軟件，所以只好在ubuntu中安裝了一個Virtual Box,做一個win7虛擬機出來。但是這個win7卻不能識別USB設備，網上有建議下載閉
2020-04-19 04:54:30
原创 centos系統下mysql安裝部署及用戶管理
確保系統已經聯網： 安裝mysql yum install mysql 安裝mysql服務器端： yum install mysql-server yum install mysql-devel 啓動mysql服務： servic
2020-04-19 04:54:30
原创 用java sax處理xml文件（DBLP數據集）
在java中，可以用多種方式處理xml文件。前一段時間因爲要使用到dblp數據集，而且這個數據集比較大無法一次性加載到內存中解析成文檔樹再處理。所以只能用sax的方式邊讀邊處理。 下面是dblp數據集的簡介，在處理xml文件之前，對xml
2020-04-19 04:54:30
原创 TCP、UDP、IP 協議分析
互連網早期的時候，主機間的互連使用的是NCP協議。這種協議本身有很多缺陷，如:不能互連不同的主機，不能互連不同的操作系統，沒有糾錯功能。爲了改善這種缺點，大牛弄出了TCP/IP協議。現在幾乎所有的操作系統都實現了TCP/IP協議棧。 T
2020-02-25 18:41:01
原创 MyBatis起步
MyBatis是一個支持普通SQL查詢，存儲過程和高級映射的優秀持久層框架。MyBatis消除了幾乎所有的JDBC代碼和參數的手工設置以及對結果集的檢索封裝。MyBatis可以使用簡單的XML或註解用於配置和原始映射，將接口和Java的P
2020-02-25 18:41:01
原创 Spring-jdbc：JdbcTemplate使用簡介
爲了使 JDBC 更加易於使用,Spring 在 JDBCAPI 上定義了一個抽象層, 以此建立一個JDBC存取框架.作爲 SpringJDBC 框
2020-02-25 18:41:01
原创 shell中的條件判斷與控制流程
條件判斷 1.按照文件類型進行判斷 測試選項 作用 -b 文件 判斷該文件是否存在，並且是否爲塊設備文件（是塊設備文件則爲真） -c 文件 判斷文件是否存在，並且是否爲字符設備文件（是字符設備文件爲真） -d
2020-02-25 18:41:01
原创 Spark on yarn 提交應用的方式
Spark on yarn 提交應用的方式 通過spark-submit –help可以看到spark-submit的三種用法。 Usage: sp
2020-02-25 18:41:01