原创 Shell腳本調試技術

參考鏈接 Shell腳本調試技術 Shell腳本調試技術 本文全面系統地介紹了shell腳本調試技術,包括使用echo, tee, trap等命令輸出關鍵信息,跟蹤變量的值,在腳本中植入調試鉤子,使用“-n”選項進行shell腳

原创 impala同步hive數據

參考鏈接 Impala與HBase整合實踐 我們知道,HBase是一個基於列的NoSQL數據庫,它可以實現的數據的靈活存儲。它本身是一個大表,在一些應用中,通過設計RowKey,可以實現對海量數據的快速存儲和訪問。但是,對於複雜的查詢

原创 linux shell 流程控制(條件if,循環【for,while】,選擇【case】語句實例

轉載於http://www.cnblogs.com/chengmo/archive/2010/10/14/1851434.html linux shell有一套自己的流程控制語句,其中包括條件語句(if),循環語句(for,while

原创 學習 MySQL中導入 導出CSV

學習 MySQL中導入 導出CSV MySQL中導出CSV格式數據的SQL語句樣本如下: Sql代碼   select * from test_info    into outfile '/tmp/test.csv'   

原创 各種新知

etl cloverETL 代碼網站 http://leetcode.com/ psudocode 僞代碼

原创 sqoop從mysql中導入數據到mysql遇到的問題

2014-11-04 09:56:54,398 FATAL [LeaseRenewer:[email protected]:8020] org.apache.hadoop.yarn.YarnUncaughtExceptionHand

原创 vi/vim 刪除:一行, 一個字符, 單詞, 每行第一個字符 命令

轉載http://blog.163.com/chen_dawn/blog/static/112506320111145955649/ http://dsec.pku.edu.cn/~jinlong/vi/Vi.html x

原创 各類創業公司

醫院 春雨 車 人人車 易到用車 團購 拉手網 電影 v電影 吃飯 請吃飯,以飯會友 境外購物 小紅書 孩子學習 去找課

原创 rmf模型

rmf模型 數據挖掘應用案例:RFM模型分析與客戶細分 網站用戶忠誠度分析 RFM模型分析與客戶細分 美團在webp方面的實踐 http://datavlab.org/about http://www.aliyun.com

原创 mysql連接數據庫工具類

參考鏈接 Java使用JDBC連接數據庫完整的工具類實例 import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedState

原创 hive查看錶創建過程

參考鏈接 hive中如何確定map數 假如你hive中已經有ebay_order表,想查看其創建過程可以用 hive> show create table ebay_order; <span style="font-family:Mic

原创 使用Apache Hadoop、Impala和MySQL進行數據分析

參考鏈接 使用Apache Hadoop、Impala和MySQL進行數據分析 Apache Hadoop是目前被大家廣泛使用的數據分析平臺,它可靠、高效、可伸縮。Percona公司的Alexander Rubin 最近發表

原创 leetcode

暫時刷完leetcode的一點小體會

原创 Hadoop如何Kill指定用戶的所有Job

參考鏈接 Hadoop如何Kill指定用戶的所有Job 今天有同學問我,如何kill掉制定用戶的所有job,有沒有現成的命令?我看了一下hadoop job命令的提示,沒有這樣的命令。 其實實現kill指定用戶的job也非常簡單,

原创 fluentd結合kibana、elasticsearch實時搜索分析hadoop集羣日誌

  fluentd結合kibana、elasticsearch實時搜索分析hadoop集羣日誌 用Kibana和logstash快速搭建實時日誌查詢、收集與分析系統