原创 scala的介紹及安裝
一 scala簡介 scala是運行在JVM上的多範式編程語言，同時支持面向對象和麪向函數編程 早期，scala剛出現的時候，並沒有怎麼引起重視，隨着Spark和Kafka這樣基於scala的大數據框架的興起，scala逐步進入大
2020-05-27 13:58:01
2
原创 kafka簡介及應用場景、架構
1、簡介 kafka是最初由linkedin公司開發的，使用scala語言編寫，kafka是一個分佈式，分區的，多副本的，多訂閱者的日誌系統（分佈式MQ系統），可以用於搜索日誌，監控日誌，訪問日誌等。 1.2、支持的語言 kafk
2020-05-18 22:57:54
原创 HBase底層原理以及三個重要機制
系統架構 Client 1 包含訪問hbase的接口，client維護着一些cache來加快對hbase的訪問，比如regione的位置信息。 Zookeeper 1 保證任何時候，集羣中只有一個master 2 存貯所有Re
2020-05-18 22:57:54
原创 kafka術語
1. kafka中術語介紹 Broker：kafka集羣中包含一個或者多個服務實例，這種服務實例被稱爲Broker Topic：每條發佈到kafka集羣的消息都有一個類別，這個類別就叫做Topic Partition：Partit
2020-05-18 22:57:54
原创 HBase的基礎架構及環境搭建
一 HBase的基礎架構 1、HMaster 功能： 監控RegionServer 處理RegionServer故障轉移 處理元數據的變更 處理region的分配或移除 在空閒時間進行數據的負載均衡 通過Zookeeper發佈
2020-05-08 05:07:37
原创 HBase常用shell操作
1、進入HBase客戶端命令操作界面 node01服務器執行以下命令進入hbase的shell客戶端 cd /export/servers/hbase-2.0.0 bin/hbase shell 2、查看幫助命令 hbase(m
2020-05-08 05:07:37
原创 HBase的高級shell管理命令
1、status 例如：顯示服務器狀態 hbase(main):058:0> status 'node01' 2、whoami 顯示HBase當前用戶，例如： hbase> whoami 3、list 顯示當前所有的表 4、c
2020-05-08 05:07:37
原创 NoSQL數據庫（合集）
NoSQL數據庫 主流NoSQL數據庫概述 一 redis 1.Redis的基本介紹以及使用場景 2.Linux下的redis環境安裝 3.redis的數據類型 4.redis的javaAPI操作（Demo） 5.redis的持久
2020-04-29 11:47:03
原创 redis的javaAPI操作（Demo）
redis不僅可以通過命令行進行操作，同時redis也可以通過javaAPI進行操作，我們可以通過使用javaAPI來對redis數據庫當中的各種數據類型進行操作 第一步：創建maven工程並導入jar包 <?xml versio
2020-04-29 11:47:03
原创 Linux下的redis環境安裝（完整步驟）
第一步：下載redis安裝包 node01服務器執行以下命令下載redis安裝包 cd /export/softwares wget http://download.redis.io/releases/redis-3.2.8.ta
2020-04-29 11:47:03
原创 Apache Oozie安裝（附資源）
資源： 安裝包+ 依賴jar包等： 鏈接：https://pan.baidu.com/s/1yT_vCRan2KyflcK06vrscA 提取碼：ybxo 1． 修改hadoop相關配置 1.1． 配置httpfs服務 修改had
2020-04-29 11:47:03
原创 MapReduce實戰（附源碼資料）
有兩個海量日誌文件存儲在hdfs上， 其中登陸日誌格式：user，ip，time，oper（枚舉值：1爲上線，2爲下線）；訪問日誌格式爲：ip，time，url，假設登陸日誌中上下線信息完整，且同一上下線時間段內使用的ip唯一，計
2020-04-25 07:43:42
原创 模塊開發----數據可視化
1． Echarts介紹 Echarts是一款由百度前端技術部開發的，基於Javascript的數據可視化圖表庫，提供直觀，生動，可交互，可個性化定製的數據可視化圖表。 https://echarts.apache.org/exa
2020-04-23 14:38:51
原创 Apache Oozie實戰
oozie安裝好了之後，需要測試oozie的功能是否完整好使，官方已經給自帶帶了各種測試案例，可以通過官方提供的各種案例來學習oozie的使用，後續也可以把這些案例作爲模板在企業實際中使用。 先把官方提供的各種案例給解壓出來： c
2020-04-17 03:02:47
原创 Flume簡單案例的實現（完整）
案例一 ：採集目錄到HDFS 採集需求：服務器的某特定目錄下，會不斷產生新的文件，每當有新文件出現，就需要把文件採集到HDFS中去 根據需求，首先定義以下3大要素 採集源，即source——監控文件目錄 : spooldir
2020-04-17 03:02:37