原创 克隆機 移動虛擬機應該做的修改
有時候爲了方便，我們會拷貝或者克隆虛擬機，克隆虛擬機後是不能直接使用的，需要做一些修改，具體方法如下： 1.修改主機名 vi /etc/sysconfig/network（如果不需要修改，這個可以不用考慮） 2.修改網卡 vi /etc/
2020-06-16 14:41:05
原创 desktop位置不可用,桌面文件丟失，重啓無效
今天上班，突然接到電話說家裏電腦出了問題，就利用午休時間，遠程控制了一下，發現問題：開始菜單點不開、鍵盤開始菜單按鈕失效、右擊開始菜單也無效（我的系統是win10）、控制面板也找不到、小娜搜索控制面板出來點擊無效；以下是我解決的辦法 1、
2020-06-16 14:40:55
原创 elasticSearch5.4遭遇問題概略
1.root超級用戶不能正常啓動 由於elasticsearch2.0版本以後不能使用root來啓動，所以需要創建一個普通用戶來啓動。 [root@bogon ~]# groupadd elasticsearch [root@bogo
2020-06-16 14:40:54
原创 Flink各類關鍵數據格式讀取/SQL支持
目前事件歸併分爲兩種，一種爲實時的歸併，即基於Kafka內的數據進行歸併和事件生成；一種是週期性的歸併，即基於Hive中的數據進行數據的歸併和事件生成。 基於SQL歸併時Spark Streaming支持的輸入/輸出數據如下： 數據類型
2020-05-07 11:32:02
原创 HDFS權限控制
HDFS支持權限控制，但支持較弱。HDFS的設計是基於POSIX模型的，支持按用戶、用戶組、其他用戶的讀寫執行控制權限。在linux命令行下，可以使用下面的命令修改文件的權限、文件所有者，文件所屬組： hadoop fs –chm
2020-02-21 09:16:27
原创 調度腳本
最近寫了不少增量代碼，每天一運行在crontab下，寫成sh腳本有好多行，90天就是90行，確實麻煩，還好現在有了下面這個腳本 ，只要輸入起始日期就好了 調用方法 bash ./test_daynum.sh 20161001 201610
2020-02-21 09:16:27
原创 druid基本理解
最近因爲一個項目，所以臨時突擊學習了一下druid，找了一些書和官網文章搭配，然後就有了下面的這個文章， Druid基本概念— Druid是一個爲大型冷數據集上實時探索查詢而設計的開源數據分析和存儲系統，提供低延時(實時)的數據接入，靈
2020-02-21 09:16:27
原创 hive hbase整合
Hive和Hbase有各自不同的特徵：hive是高延遲、結構化和麪向分析的，hbase是低延遲、非結構化和麪向編程的。Hive數據倉庫在hadoop上是高延遲的。Hive集成Hbase就是爲了使用hbase的一些特性。
2020-02-21 09:16:27
原创 elasticsearch插件安裝
安裝部署head 第一步，安裝git 需要從github上面下載代碼，因此先要安裝git yum -y install git 安裝完成後，就可以直接下載代碼了： git clone git://github.com/mobz/e
2020-02-21 09:16:27
原创 虛擬機強制關機後打不開怎麼破
因爲一些原因導致虛擬機會被強制關閉，有些時候打不開，這很尷尬，所以爲了避免解決這種情況，我總結了一下2點方法提供給各位： 1.出現獲取所有權提示的時候仍然打不開，可以找到虛擬機安裝目錄，搜索.lck文件，記住是文件不是文件夾，刪除文件即可
2020-02-21 09:16:27
原创 hadoop查詢文件保存在機架的位置
工作的時候總會遇到各種問題，有時候會被要求看文件具體保存在那個機架上，還好hadoop提供了相關命令 hadoop fsck /tmp/csv -blocks -files -locations -racks -blocks 塊 -fi
2020-02-21 09:16:27
原创 PostgreSQL 各種問題彙總
PostgreSQL源碼安裝時候第一步 ./configure [sql] view plain copy [root]# ./configure --prefix=/usr/local/postgres-9.3.
2020-02-21 09:16:27
原创 hive打印hbase時間戳
前提hive和hbase已經整合，如果還沒整合，可以看看我的另一篇文章或者百度一下搜索相關內容即可 CREATE EXTERNAL TABLE if not exists bers( rkey STRING, es_jcsx_rksx_z
2020-02-21 09:16:27
原创 ssh 虛擬機特別慢 反應超時解決辦法
今天重新創建了幾臺虛擬機，想搭建一個測試環境，尷尬的是在第一步的時候配置免密的時候就出了問題，網上查了一些資料，終於把問題解決了，現在分享給可能遇到這個問題的各位 問題：ssh ***@192.*.*.* ,然後就一直卡在這個地方，很
2020-02-21 09:16:27
原创 ElasticSearch5.4搭建
1.下載jdk1.8以上，解壓安裝（在root用戶下） tar -zxvf jdk-8u131-linux-x64.tar.gz 解壓後如下-- jdk1.8.0_131 配置環境變量-- vim /etc/profile export
2020-02-21 09:16:27