原创 K8S初探

K8S初探——基本概念+服務啓動 核心概念 Pod:Pod是在K8s集羣中運行部署應用或服務的最小單元,它是可以支持多容器的。Pod的設計理念是支持多個容器在一個Pod中共享網絡地址和文件系統,可以通過進程間通信和文件共享這種

原创 《Effective Java》——創建和銷燬對象

對象創建和構造Item1: Consider static factory methods instead of constructors (考慮使用靜態工廠方法替代構造器)靜態工廠方法示例Why?limitationItem2:

原创 大數據之道與術

記得曾聽人說過,最重要的構建起自己的思維體系。現在隱隱約約能夠有些理解,成長就是建立並不斷完善自己思維體系的過程。 很久沒寫東西,但是對於最近的這幾本書我覺得帶給我蠻多驚喜,給了我不同的視角去看事情,需要將自己的一點點想法化成文字記錄

原创 數據結構之鏈表

鏈表 特性 鏈表不能隨機訪問某一位置的節點,需要從頭遍歷。所以讀取需要O(N)時間複雜度 在鏈表開始或結尾增加刪除操作只需要O(1)時間複雜度(雙鏈表刪除爲O(1),單鏈表刪除爲O(N)) 所以鏈表一般多用於重增刪少讀取的業務場景

原创 算法之動態規劃DP

基本思想: 若要解一個給定問題,我們可以解其不同部分(即子問題),再根據子問題的解以得出原問題的解。通常許多子問題非常相似,爲此動態規劃法試圖僅僅解決每個子問題一次,從而減少計算量:一旦某個給定子問題的解已經算出,則將其記憶化存儲,以

原创 對shell中常見參數及判斷命令介紹

今天小編就爲大家分享一篇對shell中常見參數及判斷命令介紹,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧 Shell常用特殊變量 經常會在shell命令中,看到$0, $#, $*, $@, $

原创 大數據集羣之CDH版本搭建完整版

如果感興趣,可以移駕我的博客,原文地址:https://hywelzhang.github.io/2017/11/03/%E9%9B%86%E7%BE%A4%E6%90%AD%E5%BB%BA-CDH%E6%90%AD%E5%BB%BA

原创 JVM學習小記

2016-10-27 學習自 http://segmentfault.com/blog/exploring/ (感謝) java虛擬機(Java virtual machine,JVM) JVM 是 編譯後的 Java 程序

原创 Spark Streaming + Kafka

Spark Streaming基於kafka低階api的Direct訪問方式(No Receivers) 我的原文地址https://hywelzhang.github.io/2017/04/01/Spark-Streaming-kafk

原创 【Maven】構建多模塊maven開發項目

更多請參考我的博客:https://hywelzhang.github.io/2017/03/27/Maven-Multi-modules.html 爲什麼需要構建一個多模塊開發框架? 項目爲什麼需要劃分成模塊: 1. 當項目越來越大,

原创 Spark Configuration

chrome崩掉,後面的就都丟失了,心累。後面的以後有時間再補上吧 僅僅是翻譯http://spark.apache.org/docs/latest/configuration.html 翻譯不準確,請參照官網對照查看。

原创 spark WebService調用

原文地址:https://hywelzhang.github.io/2017/09/04/WebService-WebService%E8%B0%83%E7%94%A8.html 一.什麼是Web Service WebService

原创 hdfs HA架構小結

HA架構

原创 shell中常見參數及判斷命令

Shell常用特殊變量 經常會在shell命令中,看到$0, $#, $*, $@, $?, $$這樣的取值,這些代表什麼呢? 變量 含義 $0 當前腳本的文件名 $n 傳遞給腳本或函數的參數。n 是一個數字,表示第幾

原创 2017-02-06折騰隨記

這幾天也不忙就折騰了一些 小東西,隨便記一下。 內網穿透 公司把所有上傳類網站都禁掉了,當然github肯定沒跑了。在公司都連不上,哪裏還有後續。嘗試連github一直報錯誤,連接非私密,感覺是證書問題,於是把現在的證書刪了,重新導入,但