原创 java併發-ThreadPoolExecutor
線程池，使用池中某線程來執行提交的任務，通常使用Executors的工廠方法來生成 線程池解決兩個問題： 當有大量異步任務時，使用線程池可以減少了每個任務的調用開銷，所以提供了比較好的性能 它們還提供了綁定和管理資源的方法，
2020-07-03 00:42:50
原创 kettle環境初始化
背景 程序啓動時會初始化kettle的運行環境，例如，spoon啓動時main方法就會調用KettleEnvironment.init()來爲spoon的運行環境作初始化。通過KettleEnvironment.init()來初始
2020-07-03 00:42:50
4
原创 Object類相關方法
1.equals 實現對非null對象的等價關係判斷 自反性，對於任何非null引用對象x，x.equals(x)=true 對稱性，對於任何非null引用對象x和y，x.equals(y)=y.equals(x) 傳遞性，
2020-07-03 00:42:50
原创 apache phoenix4.6配置tracing
1.前言 phoenix從4.1.0版本開始就加入了收集每個請求的traces的功能，這可以讓你看到每個重要的步驟（例如查詢操作或者插入操作）。phoenix通過利用cloudera公司的HTrace庫(HTrace是一個用jav
2020-07-03 00:42:50
4
原创 kudu設計-tablet
1. 邏輯組成 tablet tablet是kudu表的一個水平分區，類似於Hbase的region概念。每個tablet包含一個連續主鍵範圍的記錄，不同tablet的鍵範圍不會有重疊，一個表的所有tablet就組成了這個表完整
2020-05-07 17:28:48
原创 kettle插件加載流程
前言 kettle遵循着插件機制，基於插件使得kettle整個結構非常清晰，耦合性低，移植性強，特別是對kettle進行二次開發尤其方便，根據瞭解，擴展step類型的插件比較多，具體步驟可以參考：http://blog.csdn.
2020-02-24 04:06:29
原创 Ganglia監控spark1.6.1
Spark的Metrics系統允許用戶把Spark metrics信息報告到Ganglia，gmond服務收集metrics信息，最後統一彙總到gmetad並通過web界面呈現。主要着重於如何配置ganglia以及spark的me
2020-02-24 04:06:19
原创 java併發-AbstractQueuedSynchronizer
AQS是個什麼東西 AbstractQueuedSynchronizer是java併發包下大部分的同步組件的底層基礎框架，包括ReentrantLock、Semaphore、CountDownLatch等,有點類似在上文中可以基於
2020-02-24 04:06:19
原创 kettle調試遠程執行的作業
背景 在使用ftp下載插件時，發現進行本地執行時可以正常，但當選擇了遠程執行並指定了遠程服務器後發現出現了錯誤：從 FTP:User cannot log in. 獲取文件時發生錯誤。根據錯誤信息可以判斷是因爲ftp登錄不上的原因
2020-02-24 04:06:19
3
原创 編譯spark1.6.1源碼
正常的情況下從spark官方網站下載的發行包已經可以滿足正常使用（默認支持了hive），但如果要編譯相應cdh版本的hadoop或者把ganglia打包進來等，那就要重新指定編譯參數來重新編譯源碼了。建議最好在linux環境下進行
2020-02-24 04:06:19
原创 Thread類相關方法
Thread各狀態 線程某時間點只能處於一種狀態。這些狀態是虛擬機狀態，與操作系統線程狀態無關。 NEW：線程尚未啓動的狀態，調用start之前 RUNNABLE：可運行、就緒狀態，表示已經在JVM中執行，但是同一時間只有一線程
2019-08-23 05:11:12
原创 impala創建kudu表過程，併發時異常
1.環境 impala版本2.11.0-cdh5.14.0，kudu版本2.11.0-cdh5.14.0 2.問題現象 最近使用impala+kudu時遇到個問題，有個程序會定時通過jdbc來創建kudu表，但是開發時，多個服務同
2019-06-11 12:53:31
24
原创 impala+kerberos配置
1.環境 centos 6.5 192.168.17.138 master NameNode,SecondaryNameNode,impala-catalog,impala-state-tore 192.168.17.153
2019-06-11 12:53:31
7
原创 爬蟲總結
美團美食 通過分析不同的分類，發現不同的分類的頁面和接口不是統一的，所以需要針對不同的分類編寫對應的邏輯。以美食分類爲例 獲取所有城市 美團美食業態的訪問地址爲https://{city}.meituan.com/meishi/，瀏覽
2018-12-25 18:04:13
12
原创 導數、微分、偏導數、全微分、方向導數、梯度的定義與關係
學習到機器學習線性迴歸和邏輯迴歸時遇到了梯度下降算法，然後順着扯出了一堆高數的相關概念理論：導數、偏導數、全微分、方向導數、梯度，重新回顧它們之間的一些關係，從網上和教材中摘錄相關知識點。 通過函數的極限定義出導數(以一元函數爲例) 函
2018-09-04 03:53:39