原创 Flume+Kafka+HDFS+Storm+Redis實時分析系統基本架構
今天通過一個簡單的電商網站訂單實時分析系統和大家一起梳理一下大數據環境下的實時分析系統的架構模型。當然這個架構模型只是實時分析技術的一 個簡單的入門級架構，實際生產環境中的大數據實時分析技術還涉及到很多細節的處理, 比如使用Storm的A
2020-06-16 13:40:04
原创 Windows MySQL-5.7.17-Win-X64-Bit 解壓縮版安裝配置完整過程
下載MySQL-5.7.17-Win-X64-Bit.zip，下載地址：鏈接：https://pan.baidu.com/s/1btabz9QSe7sNBkpALjluUg 密碼：pgok 解壓到文件夾（例）： 修改配置文件： 打開解壓的
2020-06-16 13:40:04
原创 Sqoop實現Mysql與HDFS/Hbase的數據遷移
簡介 Sqoop是一個用來將Hadoop和關係型數據庫中的數據相互轉移的工具，可以將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導入到Hadoop的HDFS中，也可以將HDFS的數據
2018-09-04 13:58:52
原创 HIVE-執行hive的幾種方式，和把HIVE保存到本地的幾種方式
第一種，在bash中直接通過hive -e命令，並用 > 輸出流把執行結果輸出到制定文件hive -e "select * from student where sex = '男'" > /tmp/output.txt 第二種，在bash
2018-09-04 13:58:39
原创 Nexus 私有倉庫搭建與 Maven 集成
Maven 是日常開發過程中，都會接觸到的項目管理工具。Maven 可以將開發人員從繁雜的文檔管理、項目打包等工作中解放出來，把更多的精力放在業務開發上。Maven 帶來的便利這裏就不多說了，但是隻是單單使
2018-09-04 13:58:39
原创 Flume的JVM調優策略
當使用Flume遇到內存溢出等異常時，可參照以下調整你的jvm參數即可.可用 ps -aux | grep flume查看Flume進程使用了多少內存.vi bin/flume-ng修改JAVA_OPTS="-Xmx20m" (默認爲20
2018-09-04 13:58:39
原创 Redis - 設置密碼
redis沒有實現訪問控制這個功能，但是它提供了一個輕量級的認證方式，可以編輯redis.conf配置來啓用認證。 1、初始化Redis密碼： 在配置文件中有個參數： requirepass 這個就是配置redis訪問密碼
2018-09-04 13:58:39
原创 Hive Later View用法
Lateral View往往與explode或是split函數結果使用樣例表：Jack,male,eat-play,北京:海淀-上海:浦東Miso,male,eat-net-play,河北:保定-北京:海淀小明,male,eat-net,
2018-09-04 13:58:39
原创 Hive調優
一、運行方式（本地與集羣） 本地運行： set hive.exec.mode.local.auto=true 注：hive本地運行有一個保護機制 hive.exec.mode.local.inputbytes.max
2018-09-04 13:58:38
原创 AWK - 用法
awk 用法：awk ' pattern {action} ' 變量名 含義 ARGC 命令行變元個數 ARGV 命令行變元數組 FILENAME 當前輸入文件名 FNR 當前文件中的記錄號 FS 輸入域分隔符
2018-09-04 13:58:38
3
原创 HBase－內存規劃
HBase中內存規劃直接涉及讀緩存BlockCache、寫緩存MemStore，影響系統內存利用率、IO利用率等資源以及讀寫性能等，重要性不言而喻。主要配置也是針對BlockCache和MemStore進行，然而針對不同業務類型(簡單說來
2018-09-04 13:58:38
原创 Flume - 攔截器、ETL和Routing
攔截器可以在source之後或者sink之前加入。往source上添加攔截器：agent.sources.s1.interceptors=i1 i2 i3定義三個攔截器，i1，i2和i3.i2將接收i1的輸出，i3將接收i2的輸出，ch
2018-09-04 13:58:38
原创 Redi - 安裝（單機）
1.由於是c語言編寫,所以需要安裝支持組件 yuminstall -y gcc-c++2.把壓縮包上傳到linux服務器上，示例位置: /usr/local/temp/ 下 cd/usr/local/temp3.進入到/
2018-09-04 13:58:38
原创 Git 遠程倉庫---服務器搭建
以 Centos 爲例搭建 Git 服務器。1、安裝Git$ yum install curl-devel expat-devel gettext-devel openssl-devel zlib-deve
2018-09-04 13:58:38
原创 Kafka - 集羣搭建及相關操作
1) 上傳kafka_2.10-0.8.2.2.tgz包到三個不同節點上，解壓。2) 配置../ kafka_2.10-0.8.2.2/config/server.properties文件節點編號：（不同節點按0,1,2,3整
2018-09-04 13:58:38