原创 工程常用

一. 設計模式種類:    1. 概括:總體來說設計模式分爲三大類:        創建型模式(五種):工廠方法模式、抽象工廠模式、單例模式、建造者模式、原型模式。        結構型模式(七種):適配器模式、裝飾器模式、代理模式、外觀

原创 Hive工程實踐

    最近在參與某toB項目,數據需離線統計出並推送至線上業務庫,其中用hive做的離線分析。總結寫下常見問題及心得吧。   一.工程類技術範疇:數據統計工作大題劃分爲四步:指標統計、批量腳本、數據格式、異常流程;     step1.

原创 線程池及併發包

一.線程組件 1.線程池 1.1.線程池類型:newSingleThreadExecutor、newFixedThreadPool 等等 1.2. 線程池參數:          1.3.線程池執行原理以及關閉原理:          

原创 Spring/Ibatis框架部分解析(TODO)

Spring/Ibatis框架部分解析(TODO)歡迎使用Markdown編輯器新的改變功能快捷鍵合理的創建標題,有助於目錄的生成如何改變文本的樣式插入鏈接與圖片如何插入一段漂亮的代碼片生成一個適合你的列表創建一個表格設定內容居中

原创 Innodb

Innodb隔離級別: 1. 可重複讀:     結論1:事務1在查詢主鍵id>=1中,事務2可更新id>=1的記錄,事務3可新插入id>=1的數據;事務2提交後,事務1再次查詢id=1的內容不變。(mvcc實現)            

原创 Netty/mmap/DirectBuffer

    最近在閱讀netty相關的書籍和代碼,根據自己的理解作下述彙總和圖示。   一. Netty基礎:mmap和directBuffer DirectBuffer:直接使用用戶態(堆外內存)與內核態傳遞數據,省略了用戶態(堆內內存)

原创 算法概念

概念: 1. auc/roc       如圖所示,fpr(false positive rate)=fp/(fp+tn),即"預測爲正實際爲負佔負樣本比例,即負樣本中預測爲正的比例",tpr(true positive rate)=t

原创 限流算法

                                         

原创 分佈式調度系統

分佈式調度系統對比: 問題1:集羣重複執行             因爲沒有Job分發功能, 造成各worker資源浪費 問題2:線上Job修改             如果想修改已經上線的定時任務怎麼辦?             以前:

原创 算法實踐

文章目錄建模流程: 參與的項目使用推薦算法有段時間了,特作此總結。 建模流程:

原创 spring/ibatis框架部分解析(TODO)

spring/ibatis框架部分解析(TODO)歡迎使用Markdown編輯器新的改變功能快捷鍵合理的創建標題,有助於目錄的生成如何改變文本的樣式插入鏈接與圖片如何插入一段漂亮的代碼片生成一個適合你的列表創建一個表格設定內容居中、居

原创 事務及鎖

mysql innodb事務原理:     H後I前寫binlog 分佈式事物機制及原理; 1. 2PC 2. TCC 3. 本地消息表 4. MQ 事務 轉自 https://www.jianshu.com/p/16b1baf015

原创 機器學習(概念推導應用)

概念: 1. auc/roc       如圖所示,fpr(false positive rate)=fp/(fp+tn),即"預測爲正實際爲負佔負樣本比例",tpr(true positive rate)=tp/(tp+fn),即預測

原创 Java設計模式

1. 設計模式種類: 總體來說設計模式分爲三大類: 創建型模式(五種):工廠方法模式、抽象工廠模式、單例模式、建造者模式、原型模式。 結構型模式(七種):適配器模式、裝飾器模式、代理模式、外觀模式、橋接模式、組合模式、享元模式; 行爲型模

原创 JAVA多線程

參照各路大神以及自己的理解,寫下下述博文,未粘貼全部JDK源碼。繼續完善中 一.線程組件:線程池、阻塞隊列 1. 線程池 1.1. 線程池類型:newSingleThreadExecutor:   newFixedThreadPool 1