原创 hadoop lzo配置
一、準備工作(only一個節點即可,not all) 1、maven準備 2、安裝lzo wget http://www.oberhumer.com
2020-02-22 09:19:43
原创 spark中的幾個概念File，Block，Split，Task，Partition，RDD以及節點數、Executor數、core數目的關係。
轉自：https://www.zhihu.com/question/33270495/answer/93424104梳理一下Spark中關於併發度涉及的幾個概念File，Block，Split，Task，Partition，RDD以及節點
2020-02-22 09:19:43
原创 zk negotiated timeout和響應timeout討論
轉自：http://crazyjvm.iteye.com/blog/1701032 http://crazyjvm.iteye.com/blog/1693757 文中提到相關超時問題，但是又出現了一個問題，我把min和max都設置成了
2020-02-22 09:19:43
原创 zookeeper事務日誌可視化
將libs中的slf4j-api-1.7.5.jar文件和zookeeper根目錄下的zookeeper.jar文件複製到臨時文件夾tmplibs中
2020-02-22 09:19:42
原创 分佈式集羣批量執行命令sh腳本
#!/bin/bash echo -e command template as follow: "\n sh ~/sh/dist_batch_exec.sh [--background] \"date\""<<EOF EOF if [[
2020-02-22 09:19:42
原创 大頁面和透明大頁面
內存是由塊管理，即衆所周知的頁面。一個頁面有 4096 字節。1MB 內存等於 256 個頁面。1GB 內存等於 256000 個頁面等等。CPU 有內嵌的內存管理單元，這些單元中包含這些頁面列表，每個頁面都使用頁表條目參考。 讓系統管理
2020-02-22 09:19:42
原创 greenplum數據庫參數設置
轉載於 http://blog.csdn.net/echollee/article/details/6915479 # 查詢參數psql -c'SHOW ALL;' -d gpdbgpconfig--
2018-09-04 22:44:02
原创 linux top命令查看內存及多核CPU的使用講述
轉自：http://www.cnblogs.com/dragonsuc/p/5512797.html 查看多核CPU命令 mpstat -P ALL 和 sar -P ALL 說明：sar -P ALL > aaa.txt 重定
2018-09-04 22:44:01
原创 greenplum 權限說明
Table 2. Object Privileges Object Type Privileges Tables, Views, Sequences SELECT INSERT UPDATE DELETE RULE AL
2018-09-04 22:43:43
原创 spark動態分配executor
轉自：http://blog.csdn.net/u014393917/article/details/50630829 動態分配executor的實例初始化部分 如果spark.executor.instances配置項設置爲0或者沒
2018-09-04 22:43:43
原创 調整elasticsearch數據存放目錄的一種快速方法
爲避免實例停止期間，主副本數據複製問題，採取以下方法，可快速實現數據存放目錄變更。經驗證，速度較常規方法快至少一倍。 1、停一個節點前，禁用分片 curl -XPUT '10.10.10.111:9200/_cluster/set
2018-09-04 22:43:43
原创 eclipse/maven工具打包及使用
1、hbase導出到集羣執行 a、直接依賴集羣上的包 只導出jar文件: G:\java\sourcecode\myjava\ExampleClient.jar 修
2018-09-04 22:43:43
原创 hive/impala存儲格式選型
轉載自http://blog.csdn.net/mtj66/article/details/53968991 1、TEXTFILE 默認格式，建表時不指定默認爲這個格式，存儲方式：行存儲 導入數據時會直接把數據文件拷貝到hdfs
2018-09-04 22:43:43
原创 hadoop2.2.0升級成hdfs ha後查詢報java.net.UnknownHostException
hadoop2.2.0升級成hdfs ha後查詢報錯： hadoop fs -ls / 17/11/16 16:17:52 WARN util.NativeCodeLoader: Unable to load native-hadoop
2018-09-04 22:43:43
原创 hadoop集羣優化
hadoop集羣優化： 一、配置參數優化 1、小文件優化：調整split\reduce等參數 split參數需根據應用自定義調整,不能統一配置。 --hive-site.xml（調整reduce輸出參數）
2018-09-04 22:43:43
6