原创 hadoop源碼放在eclipse編譯
1，建立一個hadoop源碼文件夾。 2、svn 檢出hadoop1.0.4的源碼。svn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-1.0.4
2018-08-23 22:04:50
原创 大規模日誌收集處理項目的技術總結
以下是2012年一個公司內部項目的技術總結，涉及到的方面比較多比較雜，拿出來和大家分享下。如果有更好的方案或者想法請聯繫我，謝謝～！ 注：文章中提到的其他系統（如哈勃Agent、EagleEye）是公司內部的其他系統，這裏就不詳細介紹了
2018-08-23 22:04:50
原创 storm集羣 安裝筆記
本文主要是參照strom的管網中的document中來進行安裝,管網地址 1,首先需要安裝zookeeper集羣.可參考管網或網絡上安裝(很簡單). 2,在storm的work機器上和nimbus機器上安裝相關的依賴.即需安裝jdk1.6
2018-08-23 22:04:50
原创 Hive SQL的編譯解析過程
轉至:http://tech.meituan.com/hive-sql-to-mapreduce.html 天數百GB的數據存儲和分析。Hive的穩定性和性能對我們的數據分析非常關鍵。 在幾次升級Hive的過程中，我們遇到了一些大大
2018-08-23 22:04:50
原创 springboot自定義favicon.ico
Favicon配置 說到favicon.ico這個小圖標，Spring Boot提供了默認的小葉子，如果大家想定製這個小圖標可通過以下做法： 1，application.properties spring.mvc.favicon.
2018-08-23 22:04:50
原创 vi 命令大全
linux下vi命令大全 進入vi的命令 vi filename :打開或新建文件，並將光標置於第一行首 vi +n filename ：打開文件，並將光標置於第n行首 vi + filename ：打開文件，並將光標置於最後一行
2018-08-23 22:04:50
原创 hive 本地MapReduce(local mr)
在hive中運行的sql有很多是比較小的sql,數據量小,計算量小.這些比較小的sql如果也採用分佈式的方式來執行,那麼是得不償失的.因爲sql真正執行的時間可能只有10秒,但是分佈式任務的生成得其他過程的執行可能要1分鐘.這樣的小任
2018-08-23 22:04:50
原创 velocitylayout生成靜態頁面
隨着網站一步步的發展，網站的靜態化越來越重要。針對於目前市場上存在Velocity、FreeMarker、JSP三大模板引擎技術之一（現在又有Thymeleaf）的Velocity技術進行分析。 針對 velocity 模板直接生成
2018-08-23 22:04:50
原创 HBase集羣
HBase集羣+獨立zookeeper集羣 一,zookeeper集羣。 Zookeeper集羣比較簡單。 下載zookeeper的gz包（直接官網下載即可），直接解壓gz包。 後面主要工作就是修改配置文件c
2018-08-23 22:04:49
原创 HBase--分佈式數據庫
轉載作爲以後有空再來看看。 HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集羣。 HBase是Google
2018-08-23 22:04:48
原创 hadoop 2.4的編譯安裝.
hadoop-2.4的編譯安裝. 一,編譯源碼 1,下載需要的工具包: java-1.6.0-27,maven-3.0.5(maven的版本選擇比較重要,3.2的版本會有問題編譯不通過.),cmake-2.8.12.1,protobuf-
2018-08-23 22:04:48
原创 intellij與eclipse默認快捷鍵對比
最近想用intellij,於是找找快捷鍵.用慣了eclipse,都不太適應intellij的快捷鍵.慢慢的就適應了常用的快捷鍵 Idea 與 Eclipse 快捷鍵的區別，上爲Eclipse的快捷鍵，下爲Idea的快捷鍵查找類名 CT
2018-08-23 22:04:48
原创 HIVE中MAPJOIN可以使用的場景分析
最近開發中遇到幾種應用，剛好使用MAPJOIN來解決實際的問題。 應用共同點如下： 1: 有一個極小的表<1000行 2: 需要做不等值join操作（a.x < b.y 或者 a.x like b.y等） 這種操作如果直接使用j
2018-08-23 22:04:48