原创 SpringCloud註冊中心eureka搭建與服務註冊
微服務：獨立的工程之間通過框架形成的一個集羣的服務調用；這個集羣稱之爲微服務集羣； 微：集羣中的工程（服務器），都是獨立運行的項目；功能非常單一微小,例如後臺的增刪改查可以切分成4個獨立運行的微服務工程. springCloud的
2020-06-15 12:15:27
原创 mysql事務詳解
mysql事務是指將數據庫從一種一致性狀態轉到另一種一致性狀態 mysql事務具有ACID特性： 原子性（Atomicity）：事務中的所有操作，要麼全部執行，要麼都不執行 一致性（Consistency）：事務開始和結束後，數
2019-08-08 09:17:35
1
原创 zookeeper詳解與單機安裝、集羣安裝
概述 是Apache提供的開源的用於進行服務協調和分佈式管理的框架 Zookeeper原來是Hadoop的子件之一，後來發現Zookeeper不止可以用於Hadoop也可以用於其他分佈式環境下的管理，獨立出來稱爲一個單獨的項目 z
2019-04-04 09:28:39
1
原创 Zookeeper選舉過程與ZAB協議
Zookeeper的選舉 選舉機制 1. 第一階段：數據恢復階段。 每臺Zookeeper服務器在啓動的時候，都會從本地的數據目錄中找到自己所擁有的最大事務id。 2. 第二階段：選舉階段。 每一個Zookeeper的服務器都會推薦自
2019-04-04 09:28:39
原创 Hive分區、分桶、類型、函數、運算符指令詳解
內部表和外部表 一、內部表的概念 先在hive裏建一張表，然後向這個表插入數據（用insert可以插入數據，也可以通過加載外部文件方式來插入數據），這樣的表稱之爲hive的內部表 二、外部表的概念 HDFS裏已經有數據了，然後，通過
2019-03-28 09:37:51
5
原创 Hive修改derby爲mysql數據庫
一、概述 hive可以管理hdfs上的文件，用表的形式來管理文件數據。而表名、表裏有哪些字段，字段類型、哪張表存在哪個數據下等這些表信息，稱之爲hive的元數據信息 默認情況下，hive的元數據信息不是存在hdfs上的，而是存在hi
2019-03-28 09:37:51
原创 Hive創建自定義函數
一、概述 如果hive的內置函數不夠用，用戶也可以自己定義函數來使用，這樣的函數稱爲hive的用戶自定義函數，簡稱UDF UDF使得Hive的可擴展性增強 二、實現步驟： 新建java工程，導入hive相關包，導入hive相關的
2019-03-28 09:37:51
1
原创 Hive安裝與詳解
簡介 一、Hadoop開發存在的問題 只能用java語言開發，如果是c語言或其他語言的程序員用Hadoop，存在語言門檻 需要對Hadoop底層原理，api比較瞭解才能做開發 開發調試比較麻煩 二、Hive概述 Hive是基於H
2019-03-28 09:37:51
原创 Sqoop 安裝與基礎命令
一、概述 sqoop是Apache 提供的工具，用於hdfs和關係型數據庫之間數據的導入和導入 可以從hdfs導出數據到關係型數據庫，也可以從關係型數據庫導入數據到hdfs 二、實現步驟： 準備sqoop安裝包，官網地址：htt
2019-03-28 09:37:51
原创 Flume詳解與安裝實例
Flume介紹 1、概述 Flume最早是Cloudera提供的日誌收集系統，後貢獻給Apache Flume是一個高可用的，高可靠的 、健壯性，分佈式的海量日誌採集、聚合和傳輸的系統 Flume支持在日誌系統中定製各類數據發送方，
2019-03-27 09:22:27
原创 Hadoop HDFS詳解和常用指令
HDFS： 是Hadoop中用於數據的分佈式存儲的組件 根據Google論文《The Google File System》來設計的 常用指令 指令 說明 hadoop fs -put 向HDFS上傳文件 had
2019-03-13 04:33:06
2
原创 Hadoop安裝
下載地址：http://hadoop.apache.org/releases.html 下載2.X版本 Hadoop的安裝分爲單機方式、僞分佈式方式和完全分佈式方式 單機模式 單機模式是Hadoop的默認模式。當首次解壓Hadoop
2019-03-13 04:33:06
原创 Avro遠程過程調用和數據序列化
一、概述 Avro是一種遠程過程調用和數據序列化框架，是在Apache的Hadoop項目之內開發的。它使用JSON來定義數據類 型和通訊協議，使用壓縮二進制格式來序列化數據。它主要用於Hadoop，它可以爲持久化數據提供一種序列化格
2019-03-13 04:33:06
原创 linux centos6.5 安裝mysql5.7
下載地址： https://dev.mysql.com/downloads/mysql/5.7.html#downloads 確認要下載的版本 linux 中執行 cat /etc/issue 可以查看系統信息 cat /proc/
2019-03-09 15:43:04
原创 Mycat安裝與配置詳解
需要提前準備兩個數據庫以便於測試 由於github限制，所以以後新版本從以下地址下載 去這裏下載 http://dl.mycat.io （GitHub的mycat： https://github.com/MyCATApac
2019-03-09 15:43:04