原创 基於Zookeeper搭建hadoop的HA功能
簡介 使用zookeeper和Hadoop的FailOverController的心跳檢測來維護hadoop，並在hadoop宕機的時候通過zookeeper選舉功能進行Active的切換 並使用JournalNode來維護Na
2020-07-06 04:55:18
原创 Zookeeper的簡介和使用
Zookeeper是架構模式是主從結構，用來存儲一些數據，也可以做分佈式協調服務，它的主節點叫leader，從節點叫follower。zookeeper允許一半的節點宕機。它的集羣模式一般是奇數臺服務器。 zookeeper的功能
2020-07-04 19:43:14
原创 zookeeper集羣搭建以及測試數據同步功能
Zookeeper集羣搭建之前準備工作： 時間同步 關閉防火牆 設置免密碼登陸 設置主機名 設置host文件 我們準備搭建一主倆從，所以需要三臺服務器分別爲 bigdata112 bigdata113 bigdata114 安裝步
2020-07-04 19:43:14
原创 sqoop數據採集
什麼是sqoop sqoop的全稱是SQL-To-Hadoop，它是一個關係型數據庫和Hadoop之間數據交換的工具，它從sql導入到hadoop的過程叫做import，從hadoop導出sql的過程叫做export。import
2020-07-03 15:21:54
原创 怎麼使用EurekaServer創建springcloud中的單機版和集羣版註冊中心
如果使用idea創建 第一步點擊新建工程 第二步選擇spring initializr後直接點擊下一步 第三步填寫包信息，點擊下一步 第四部選擇spring cloud discovery 選擇Eureka Server，
2020-07-03 04:59:49
原创 使用Ribbon和Feign消費Eureka中的服務
7.1. How to Include Ribbon To include Ribbon in your project, use the starter with a group ID of org.springframework.cl
2020-07-03 04:59:49
原创 在windows系統上端口被佔用了的解決方法（轉載）
運行Tomcat時若出現Address already in use: JVM_Bind 端口被佔用，一般使用下面幾個辦法可以解決： 假設端口爲1099 1.啓動cmd, 執行命令netstat -ano|findstr 1099 ，會
2020-07-03 04:59:49
原创 npm切換阿里的源
先查看一下以前的源地址 npm config get registry 然後再設置淘寶的源地址 npm config set registry https://registry.npm.taobao.org/ 然後在驗證一下是否切換過來
2020-07-03 04:59:49
原创 pig的安裝、pig的數據模型和pig的常用命令
pig的安裝 1、解壓pig的安裝到到安裝位置 tar -zxvf pig-***.jar -C 你的安裝目錄 2、配置環境變量 vim ~/.bash_profile 3、運行pig pig的運行方式有倆種，這兩種方式取決於他們處理文
2020-07-03 04:59:49
原创 pig中通過pigLatin來分析數據
pig中的表的都是裝在內存中的，如果pig命令行退出後這些表也不復存在。 1、需要把Hadoop的JobHistory Server啓動 mr-jobhistory-daemon.sh start historyserve
2020-07-03 04:59:49
1
原创 golang的切片容量的理解
go的切片相對於數組就是它的長度不再是固定的可以自動擴容 在定義上只是比數組少了固定長度 數組的聲明方式： var 數組變量名 [元素數量]T 切片的聲明方式 var name []T 切片的底層就是一個數組，所以我們可以基於數組通過
2020-07-03 04:59:49
原创 解決hbase中主機宕機引起的hbase shell中命令不可用的問題：ERROR: KeeperErrorCode = NoNode for /hbase/master
ERROR: KeeperErrorCode = NoNode for /hbase/master 從這句話的意思來看應該是HMaster宕機引起的，然後我們用jps查看一下是否真的宕機 從這張圖看只有一個zookeeper和hbas
2020-07-03 04:59:49
原创 nat模式下怎麼讓其他物理主機訪問到宿主機的虛擬機
nat模式下怎麼讓其他物理主機訪問到宿主機的虛擬機 在安裝宿主機本生有三種模式，分別爲： 橋接模式： 橋接模式是虛擬出一臺“物理”主機，ip和宿主機處於一個網段，可以訪問外網，可以和在同一網段中的物理主機通信 nat模式： nat模式是虛
2020-07-03 04:59:39
原创 服務發現之：EurekaClient
在springboot的官方文檔中有介紹怎麼搭建EurekaClient，這裏我們結合Idea來搭建EurekaClient 在文檔中有一段是這樣描述的： To include the Eureka Client in your
2020-07-03 04:59:39
原创 解決springboot的Controller加了RestController註解返回的還是xml類型的數據
這個只需修改一個地方就可以了，在接口的註解上一個produces =MediaType.APPLICATION_PROBLEM_JSON_VALUE即可 @RequestMapping(value = "save",produc
2020-07-03 04:59:39