原创 創建異步MQ操作
package com; import java.util.HashMap; import java.util.Map; import java.util.concurrent.ArrayBlockingQueue; import jav
2020-05-31 08:01:32
原创 利用SSH隧道方式連接遠程MySQL服務器
1、簡介： 大多數人知道SSH是用來替代R命令集，用於加密的遠程登錄，文件傳輸，甚至加密的FTP(SSH2內置)，因此SSH成爲使用極廣的服務之一，不僅如 此，SSH還有另一項非常有用的功能，就是它的端口轉發隧道功能，利用
2019-07-19 13:12:44
2
原创 完整 安裝配置 hbase 集羣
之前的hbase的文件沒記下來 又弄丟了 現在重新做了一遍 這次可要認真記下來 浪費我了1一天寶貝時間去實驗啊。這次的版本使用的是hadoop1.2.0 hbase0.94.7 首先確認環境 jdk hadoop 就不說了ip 機器名
2019-07-19 13:12:32
3
原创 HBase 常用Shell命令
進入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos認證，需要事先使用相應的keytab進行一下認證（使用kinit命令），認證成功之後再使用hbase shell進入可以使
2019-02-22 14:03:45
原创 DataNode引用計數磁盤選擇策略
前言在HDFS中,所有的數據都是存在各個DataNode上的.而這些DataNode上的數據都是存放於節點機器上的各個目錄中的,而一般每個目錄 我們會對應到1個獨立的盤,以便我們把機器的存儲空間基本用上.這麼多的節點,這麼多塊盤,HDFS在
2019-02-22 14:03:42
1
原创 flume-hdfs 按照時間關閉並新開文件
在flume中 原有的sink的hdfs接口中只有根據寫入多少秒存儲關閉文檔或者寫入多少量存儲關閉文檔,餅不能根據實際需求來關閉文檔,所以需要自己改寫代碼來滿足我們的要求.例如 我們需要他在每天到了0點以後關閉上一日的文檔,並在寫一個新的文
2019-02-22 14:01:29
原创 基於Spring的Web緩存
緩存的基本思想其實是以空間換時間。我們知道，IO的讀寫速度相對內存來說是非常比較慢的，通常一個web應用的瓶頸就出現在磁盤IO的讀寫上。那麼，如 果我們在內存中建立一個存儲區，將數據緩存起來，當瀏覽器端由請求到達的時候，直接從內存中獲取相應
2018-09-12 03:11:50
1
原创 crontab 定時 hive2Mysql4sqoop
當我們手動執行腳本沒有問題時，我們認爲萬事OK了 。其實不然放入crontab之後缺少各種東西。我的業務是 使用hive中原始表當數據源，創建一個臨時表，將數據原的數據清洗一遍放入臨時表，再使用sqoop將臨時表的數據導入到Mysql中。首
2018-09-12 03:11:50
原创 HBase 常用Shell命令
進入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos認證，需要事先使用相應的keytab進行一下認證（使用kinit命令），認證成功之後再使用hbase shell進入可以使
2018-09-12 03:11:49
原创 flume-hdfs 按照時間關閉並新開文件
在flume中 原有的sink的hdfs接口中只有根據寫入多少秒存儲關閉文檔或者寫入多少量存儲關閉文檔,餅不能根據實際需求來關閉文檔,所以需要自己改寫代碼來滿足我們的要求.例如 我們需要他在每天到了0點以後關閉上一日的文檔,並在寫一個新的文
2018-09-12 03:11:48
原创 座標畫圖形，發射線判斷點是否在圖形中
創建一個點的beanpublic class Point { private double lat; private double lon; public double getLat() { return lat; }
2018-09-12 03:11:48
2
原创 liunx 分割合併文件
一dd的作用是轉換和拷貝文件，我們可以利用它來分割文件，相關的選項如下：if=filename：輸入的文件名of=finename：輸出的文件名bs=bytes：一次讀寫的字節數，默認是512bytesskip=blocks:拷貝前，跳過的
2018-09-12 03:11:48
原创 hive的一些內部函數
1. 字符串長度函數：length語法: length(string A)返回值: int說明：返回字符串A的長度舉例：hive> select length('abcedfg') from lxw_dual;72. 字符串反轉函數：rev
2018-09-12 03:11:48