原创 Kafka生產者分區優化

經過前面幾篇kafka生產者專題講解,我們還可以找出哪些地方進一步來對它進行優化的嗎?答案是肯定的,這裏我們介紹一個kafka當前最新版本2.4.0合入的一個KIP-480,它的核心邏輯就是當存在無key的序列消息時,我們消息發送的分區優

原创 Spring Ioc容器初始化

1、Spring Ioc容器實現原理 Spring Ioc容器實現分爲三個步驟:分別是Resource的定位,由ResourceLoader通過輸出Reource接口來完成;BeanDefinition的載入,這個過程是把用戶定義好的be

原创 第2章:zookeeper安裝

zookeeper的安裝基本上可以按照http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html 這個頁面上的步驟完成安裝,安裝包可以從http://ftp

原创 k-近鄰算法(k-Nearest Neighbor,KNN)

算法介紹 所謂K近鄰算法,即是給定一個訓練數據集,對新的輸入實例,在訓練數據集中找到與該實例最鄰近的K個實例(也就是上面所說的K個鄰居), 這K個實例的多數屬於某個類,就把該輸入實例分類到這個類中。根據這個說法,咱們來看下引自維基百科上

原创 第3章: zookeeper命令行使用

zookeeper提供了很多方便的功能,方便我們查看服務器的狀態,增加,修改,刪除數據(入口是zkServer.sh和zkCli.sh)。 還提供了一系列四字命令,方便我們跟服務器進行各種交互,來確認服務器當前的工作情況(這也是服務器監

原创 決策樹(Decision Tree)

決策樹(Decision Tree)是一種簡單但是廣泛使用的分類器。通過訓練數據構建決策樹,可以高效的對未知的數據進行分類。 以中國羽毛球隊征戰里約奧運爲例,預測里約奧運會中國羽毛球隊能斬獲多少枚金牌。 以如下幾個因素作爲樹節點:運動員狀

原创 聚類分析之dbscan

算法概念解析 DBSCAN:一種基於高密度連通區域的基於密度的聚類方法,該算法將具有足夠高密度的區域劃分爲簇,並在具有噪聲的空間數據庫中發現任意形狀的簇。它將簇定義爲密度相連的點的最大集合;爲了理解基於密度聚類的思想,首先要掌握以下幾個定

原创 邏輯迴歸(Logistic)

算法介紹 Logistic迴歸是一種廣義線性迴歸(generalizedlinear model),因此與多重線性迴歸分析有很多相同之處。它們的模型形式基本上相同,都具有 w`x+b,其中w和b是待求參數,其區別在於他們的因變量不同,多重

原创 Spring AOP proxy代理生成

1、Spring AOP幾個概念闡述 1.通知(Advice): 通知定義了切面是什麼以及何時使用。描述了切面要完成的工作和何時需要執行這個工作。 2.連接點(Joinpoint): 程序能夠應用通知的一個“時機”,這些“時機”就是連接點

原创 Spring Ioc容器依賴注入

1、時序圖 IOC容器的依賴注入是建立在數據BeanDefinition準備好的前提之下的。依賴注入的發生有兩種情況:系統第一次向容器索要bean的時候;bean在配置的時候設置了Lazy-init屬性,該屬性會讓容器完成預實例化,預實

原创 互聯網安全防禦之道

前言 互聯網安全在時下炙手可熱,12306,網易郵箱,唯品會,天涯,小米等等賬戶信息的泄露,無不敲響互聯網安全警鐘,互聯網安全其本質是黑客和開發者之間的攻防戰爭,既然是戰爭就有相通性,就可以借鑑戰爭的一些基本思想來實施防禦。蘇聯元帥米·尼

原创 樸素貝葉斯分類(Naive Bayesian classification)

算法介紹 概念解析 貝葉斯分類是一類分類算法的總稱,這類算法均以貝葉斯定理爲基礎,故統稱爲貝葉斯分類。 貝葉斯定理是以18世紀的一位神學家托馬斯.貝葉斯的名字命名,它率先引入先驗知識和邏輯推理來處理不確定命題。這個定理解決了現實生活裏

原创 關於對象的深度複製和淺度複製

java深度clone比較全面的帖子:http://blog.csdn.net/randyjiawenjie/article/details/7563323 概念 深度複製:內容一致,內容對象不一致,也就是說對象時新創建的對象 淺度複製:

原创 第1章:zookeeper介紹

1.1、引子 Zookeeper專注於解決分佈式協作問題,那分佈式協作下會出現什麼問題呢?我們舉一個例子:例如東風路小學一年級二班需要組織一次戶外野營活動,時間是本週六。如果本次活動沒有組織者,全班所有的人員就會在週六不同時間段去野營活動

原创 kafka生產者的蓄水池機制

1.1、整體架構圖 Kafka還有蓄水池?大家先別急,我們先上一張架構圖。 從上面的架構圖可以看出,生產的流程主要就是一個producer線程和一個sender線程,它們之間通過BatchQueue來獲取數據,它們的關係是一一對應的,所