原创 Hue開發指南 - 提交 Spark 程序
目錄 Hue開發指南 1.Spark文件打包成一個Jar包提交Hue運行 1.1 上傳Spark Jar包至HDFS文件系統 1.2.Hue中創建Spark任務 2.多jar包導入執行（依賴jar包與主程序jar包分開打包） 2.1
2020-06-13 08:02:11
原创 Java8新特性：CompletableFuture 方法介紹
目錄 1. runAsync 和 supplyAsync方法 2. whenComplete、whenCompleteAsync、exceptionally 3. thenApply 、 handle thenApply handle 4
2020-06-13 08:02:11
1
原创 Cloudera-Manager-agent 誤刪恢復
場景： 同事操作失誤，將agent節點誤刪了 解決方法 1.對比正常agent節點與被刪除節點安裝包差異 yum list installed |grep cloudera 2.通過和正常的服務器對比我們發現，丟失的只有clo
2020-06-13 08:02:11
原创 OpenResty 安裝，收集日誌保存到文本文件
目錄 安裝 1.安裝相關類庫 2.安裝編譯openresty 3.編寫配置啓動openresty服務 4.通過 openresty 保存日誌數據到系統 安裝 1.安裝相關類庫 yum install -y readline-deve
2020-06-13 08:02:11
原创 遷移 Cloudera Manager 節點 ，遷移Cloudera Scm Server端
目錄 1.遷移節點信息：212 -> 44 2.壓縮存儲目錄，備份SCM Server數據 3.在新服務器安裝server端 4.修改 cloudera-scm-server 配置文件 5.解壓恢復備份數據到新服務器指定配置的目錄中
2020-06-13 08:02:11
原创 m3u8下載ts 合併成一個視頻
我們在用網頁看視頻時，很多時候視頻是下載不下來的，當然這裏面有很多技術來防止我們下載視頻，接下來我將破解使用m3u8格式來下載視頻。一般情況下，我們使用瀏覽器中Network來查看服務器和本機的數據傳輸，而視頻的原地址有時也會發現，但使用
2020-06-13 08:02:11
原创 Flink keyby 數據傾斜問題處理
上一篇我們使用keyby後發現數據嚴重傾斜 https://datamining.blog.csdn.net/article/details/105316728 大概看下問題所在，大量數據在一個subtask中運行 這裏我們使用兩階
2020-06-13 08:02:11
原创 Flink ProcessFunction 介紹使用
目錄 實現功能 代碼 測試 問題 官網描述：https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/dev/stream/operators/process_func
2020-06-13 08:02:11
原创 CDH 版本 Kafka 外網設置
登陸CDH頁面，進入Kafka配置頁面 搜索 advertised 修改advertised.host.name，這裏我們有三臺Broker，我們把每臺的外網ip填寫到對應的機器上 advertised.port不填寫 我們kafka
2020-06-13 08:02:11
原创 JanusGraph 安裝
下載地址：https://github.com/JanusGraph/janusgraph/releases/ 版本：Version 0.3.2 (June 16, 2019) 安裝 解壓 janusgraph-0.3.2-hadoop2
2020-06-13 08:02:11
原创 OpenTSDB 開發指南之 Grafana 展示OpenTSDB監控數據
目錄 準備數據 在Grafana創建OpenTSDB連接 創建一個儀表盤 統計 準備數據 將數據插入OpenTSDB {"metric":"jast.data","value":1023,"timestamp":1588742563,"
2020-06-13 08:02:11
原创 HugeGraph 配置參數
gremlin-server.yaml 參數名稱 參數說明 默認值 scriptEvaluationTimeout 查詢超時時間，單位毫秒 30000 rest-server.properties
2020-06-13 08:02:11
原创 HugeGraph 圖數據庫索引介紹 - 範圍索引，全文索引
目錄 HugeGraph 索引介紹 二級索引 組合索引 範圍索引 全文索引 HugeGraph 索引介紹 二級索引 創建schema和添加數據 schema.propertyKey("name").asText().
2020-06-13 08:02:11
原创 HBase原理 – snapshot 快照
目錄 snapshot（快照）基礎原理 snapshot能實現什麼功能？ hbase snapshot用法大全 hbase snapshot分佈式架構－兩階段提交 snapshot核心實現 clone_snapshot如何實現呢？ 其他需
2020-06-13 08:02:11
原创 Hbase Compaction 源碼分析 - RatioBasedCompactionPolicy 策略
目錄 類的關係圖 RatioBasedCompactionPolicy selectCompaction 方法 getCurrentEligibleFiles方法 skipLargeFiles方法 createCompactionRe
2020-06-13 08:02:11