原创 MapReduce中的SequenceFile和MapFile
SequeceFile是Hadoop API提供的一種二進制文件支持。這種二進制文件直接將<key, value>對序列化到文件中。一般 對小文件可以使用這種文件合併，即將文件名作爲key，文件內容作爲value序列化到大文件中。這種文件
2020-06-23 09:47:35
原创 Redis學習2
redis管道(pipeline) redis的pipeline(管道)功能在命令行中沒有，但是redis是支持管道的，在java的客戶端(jedis)中是可以使用的。 測試發現： 1：使用管道方式，插入1000條數據耗時37毫秒 Pip
2020-06-23 09:47:35
原创 查看fsimage和edits文件
查看fsimage文件： 啓動服務器bin/hdfs oiv -i 某個fsimage文件 查看內容bin/hdfs dfs -ls -R webhdfs://127.0.0.1:5978/ 導出結果bin/hdfs oiv -p XM
2020-06-23 09:47:35
1
原创 hadoop2.6.0 shell常用操作
1.1. 對hdfs的shell操作 a) 執行bin/hdfs dfs [-command] b) -ls 顯示文件夾的內容 i. -h 顯示文件大小的時候，使用K\M\G顯示文件大小 ii. -R 遞歸顯示文件夾包含的內容 c) -m
2020-06-23 09:47:35
原创 Hive0.14安裝
1.首先下載apache-hive-0.14.0-bin.tar.gz並解壓，爲了方便，解壓後的文件夾重命名爲hive14 2.ls到hive目錄下的conf目錄，將hive-env.sh.template重命名爲hive-env.sh。
2020-02-21 18:04:42
原创 Redis學習
Redis是一種面向“鍵/值”對數據類型的內存數據庫，可以滿足我們對海量數據的讀寫需求。 redis的鍵只能是字符串 redis的值支持多種數據類型： 1：字符串 string 2：哈希 hash
2020-02-21 18:04:30
原创 Java常用工具總結
/** * 判斷字符串是否是整數或小數 * @param str * @return */ public static boolean isNumeric(String str) { Pattern pattern
2020-02-21 18:04:30
原创 從hdfs批量導出數據到hbase表中
將hdfs中的日誌數據導入到hbase中。 打成jar包在服務器使用 hadoop jar xxx.jar 包名.類名 運行 需要將hbase類庫加到hadoop的classpath中，在hadoop-env.sh
2020-02-21 18:04:30
原创 Java筆試面試（==和equals）
/* * 以下輸出內容是什麼 */ public class Test { public static void main(String[] args) { String str = new String("abc"); S
2020-02-21 18:04:30
原创 Hive0.14 語法
創建數據庫 create database mydb; 切換數據庫 use mydb; 創建數據庫 create database if not exists mydb; 創建內部表表的同時加載數據 create table studen
2020-02-21 18:04:30
原创 多線程同步輔助類
<span style="font-size:18px;">/** * 同步輔助類之信號量 * 允許指定共享資源數量，可以允許指定數量的線程同時訪問資源 * 與同步的區別在於，同步時，一次只能一個線程訪問資源 * @author
2020-02-21 18:04:30
原创 Zookeeper學習
Zookeeper 是 Google 的 Chubby一個開源的實現，是 Hadoop 的分佈式協調服務 Zookeeper的角色 領導者（leader），負責進行投票的發起和決議，更新系統狀態 學習者（learner），包括跟隨者（f
2020-02-21 18:04:30
原创 Python學習
python數據類型： 1.整數 2.浮點數 3.字符串 print 多個字符串時以逗號連接 print "hello","world" -> hello world 4.布爾 True False 注意大小寫 5.空值 None 6
2020-02-21 18:04:30
原创 hadoop2.6.0 shell 命令
bin/hdfs dfs命令 appendToFile Usage: hdfs dfs -appendToFile <localsrc> ... <dst> 追加一個或者多個文件(本地路徑的文件)的內容到hdfs指定文件中.也可以從命令行
2020-02-21 18:04:30
原创 hbase優化
HBase的性能優化 1.數據寫入到WAL和memstore中。 memstore中的數據flush到HDFS中。 數據存放在內存中，一般存放在jvm中的新生代、老生代區域。 memstore一般設置大小爲128MB。 設
2020-02-21 18:04:30