原创 hive把hql查詢的結果導出到本地或者HDFS上面
hive可以把hql查詢的結果導出到linux本地或者導出到HDFS上面，這樣可以利用結果集做一些分析操作。 INSERT OVERWRITE [LOCAL] DIRECTORY directory1 select_statement1
2020-02-23 13:28:22
原创 kafka(1)
Introduction kafka是一個分佈式、分區的、複製因子的日誌系統。它提供了信息系統的功能，但具有獨特的設計。 上面這句話包含了什麼含義呢？ 首先，讓我們再回顧下一些消息隊列的術語： kafka包含一個topic的概念，它是
2020-02-23 13:28:22
原创 hadoop集羣之PID
在hadoop集羣上面的每個java進程都會有一個文件記錄啓動時的PID，這樣可以確保進程正確啓動，在使用‘hadoop-daemon.sh stop 進程名 ’ 關閉進程時也會相應的把該PID文件刪除掉。該PID文件沒有實質的作用僅作爲
2020-02-23 13:28:22
2
原创 hbase的rowkey設計之字典順序
大家都知道hbase在存儲rowkey的時候是按照字節的字典順序來排序和存儲的。但這個字典序是什麼其實說起來簡單，理解起來可能有些同學不是十分清楚，今天我就來描述下這個問題。 首先，大家需要對ascii碼錶有個清晰地認識。比如說爲什麼“1
2020-02-23 13:28:22
原创 hive報內存不足錯誤
hive在運行HQL時上報內存不足錯誤導致contains被kill掉，mapreduce任務失敗。導致這個錯誤是因爲mapreduce配置的內存數量太小了。可以在mapred-site.xml中添加</p> set mapreduce.
2020-02-23 13:28:22
原创 kafka學習筆記
最近公司讓從新做報警監控系統，還要把kafka用上。這不爲了提高理解和記憶，把kafka官方的內容翻譯一下，以加強記憶。好了，廢話不多說，走起！ kafka是一個發佈-訂閱的分佈式消息傳輸系統。 kafka性能： 一個kafka的brok
2020-02-23 13:28:22
原创 springMVC返回數據的亂碼問題
最近在使用springmvc來實現一個rest請求操作。後端數據庫採用hbase。開始的時候頁面返回的數據中的中文總是有亂碼問題，定位問題一直是hbase端的，後來檢查發現不是hbase的問題。就聚焦到springmvc上面。因爲採用了
2018-08-22 11:37:22
2
原创 java中不常用但是很重要的幾個關鍵字解析
第一個 transient 短暫的 本來想寫一下這個關鍵字的，鏈接 這篇文博寫的太好，就直接轉過來了，大家欣賞下。 這裏記錄下transient的主要用法：我們都知道一個對象只要實現了Serilizable接口，這個對象就可以被序列化
2018-08-22 11:37:20
原创 RedHat/CentOS利用iso鏡像做本地yum源
CentOS是完全免費的，它的yum可以直接使用；而RedHat的yum則需要註冊付費才能使用，如果不這樣則有兩種解決方案，也可以說是三種。 1. 利用iso鏡像做本地yum源 2. 利用光盤做本地yum源 3. 利用Centos
2018-08-22 11:37:20
3
原创 Eclipse部署Maven web項目到tomcat服務器時，沒有將lib下的jar複製過去的解決辦法
我們在做web開發是，經常都要在eclipse中搭建web服務器，並將開發中的web項目部署到web服務器進行調試，在此，我選擇的是tomcat服務器。之前部署web項目到tomcat進行啓動調試都很正常，今天突然出現無法啓動情況，啓動
2018-08-22 11:37:20
原创 配置基於http的yum源
如果搭建本地yum軟件源只能給本機使用，假設局域網中有多臺服務器呢？不可能每臺服務器都這樣一個一個搭建本地源吧？ 那如何解決這個問題呢？ 首先我們可以聯想到RedHat/CentOS系統默認yum就是基於http方式的，那如果我們在局域
2018-08-22 11:37:20
原创 編譯hive源碼導入到eclipse中
軟件版本： hive1.2.1 ，eclipse4.5，maven3.2 ，JDK1.7 軟件準備： hive: 環境準備： （1）. 安裝好的Hadoop集羣（僞分佈式亦可）； （2） linux 下maven環境；（這裏需要說下，m
2018-08-22 11:37:20
原创 mysql大數量sql查詢導致oom錯誤
最近在做數據遷移，使用的sql語句沒有添加where條件，導致客戶端程序報oom錯誤。 是因爲jdbc默認會把查詢結果集全部返回到客戶端導致oom錯誤。查找資料發現mysql的jdbc還支持以流的形式訪問結果集。每當調用ResultSet
2018-08-22 11:37:20
2
原创 maven的幾個在線倉庫
記錄幾個maven在線常用的倉庫 <repositories> <repository> <id>central</id> <url>http://repo1.maven.
2018-08-22 11:37:20
1
原创 SpringMVC 3.0 常用註解簡介
1. 註冊註解處理器 命名空間<context:component-scan/> 首先，如果要使註解工作，則必須配置component-scan 。該配置的功能爲：啓動包掃描功能，以便註冊帶有@Control
2018-08-22 11:37:20