原创 H3C S5500三層交換機劃分Vlan與H3C路由組網

基本屬性: vlan特性:三層互通,兩層隔離。三層交換機不同vlan之間默認是互通的,兩次交換機不同vlan是隔離的。 vlan IP:就是定義一個vlan下所有機器的網關地址,該vlan下的機器網關必須是這個IP。 接口:就是交換機後面

原创 apache.zookeeper-3.4與apache.kafka-2.11的安裝

                                       zookeeper與Kafka集羣安裝 集羣安裝以三臺機器(虛擬機,物理機等等)爲例子: 192.168.200.100 kafka01   (主節點) 1

原创 Json轉化與ExtJS樹(後臺處理)

一、JSON對格式化數據的操作: 1.導入依賴包: import org.json.JSONArray; import org.json.JSONException; import org.json.JSONObject; 2.Map轉

原创 Kubeedge-mapper 實現

應用場景: 利用GitHub上的溫度傳感器的例子作爲講解,實現從雲端獲取設備終端狀態及使用Java模擬設備數據。其實和官網給的視頻一樣,只需要將終端設備的數據轉換爲支持MQTT協議傳輸的數據,雲端就可以拿到數據了。 需要使用的文件及技術

原创 Solr-常見問題彙總(持續更新)

本文主要記錄solr使用中遇到的一些常見問題及命令 關於solrConfig.xml的配置博客:https://blog.csdn.net/yuh_LLllccy/article/details/88552673   solr查詢報錯:

原创 hadoop(hbase)副本數修改

一、需求場景 隨着業務數據的快速增長,物理磁盤剩餘空間告警,需要將數據備份從3份修改爲1份,從而快速騰出可用磁盤容量。 二、解決方案 1. 修改hdfs的副本數 Hbase 的數據是存儲在 hdfs 上的,Hbase的副本數是默認讀取hd

原创 JAVA-POI

import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.util.Ha

原创 GreenPlum執行gpfdist報錯:libssl.so.1.0.0: cannot open shared object file: No such file or directory

當你報這個錯時,是因爲你執行 ./gpfdist 時默認去找尋/usr/lib64的環境依賴,沒有去找尋你gpfdist安裝目錄中lib的目錄。 解決方法: 根據報錯提示,將你gpfdist安裝目錄中lib目錄下的對應文件拷貝到/usr/

原创 rasdaman介紹及安裝

一、分佈式介紹        Rasdaman中的主節點稱爲Rasdaman的主機,它充當中央Rasdaman請求分派器並且控制所有服務器進程。Rasdaman管理器接收客戶機請求並將這些請求分配給服務器進程。服務器進程解析和分配請求,然

原创 Hive-拉鍊表

一、問答介紹 1.什麼是拉鍊表?     維護歷史狀態,以及最新狀態數據的一種表,拉鍊表根據拉鍊粒度的不同,實際上相當於快照,只不過做了優化,去除了一部分不變的記錄,通過拉鍊表可以很方便的還原出拉鍊時點的客戶記錄。記錄一個事物從開始,一直

原创 GreenPlum-數據存儲目錄遷移及常用操作

一、環境介紹 Greenplum5 3節點集羣,Centos7.2虛擬機,   二、需求 因爲/home目錄磁盤空間已滿,需要將Greenplum的數據存儲目錄轉移到新的分區/opt目錄下,虛擬機磁盤管理沒有用LVM邏輯卷管理,無法動態擴

原创 CDH6 高版本hbase+solr實現二級索引

之前的環境是單獨下載的CDH組件包搭建的集羣,但是因爲hadoop版本過低導致漏洞無法修復,重新搭建高版本集羣環境。 新集羣環境: 主要組件:hadoop,hbase,zookeeper,Key-Value Store Indexer

原创 Hbase-二級索引 Hbase+Hbase-indexer+solr (CDH)

原文鏈接:https://www.jianshu.com/p/a7e2079ded33 最近一段時間工作涉及到hbase sql查詢和可視化展示的工作,hbase作爲列存儲,數據單一爲二進制數組

原创 Hbase2.0-源碼閱讀環境

最近準備開始研究Hbase源碼,因爲第一次研究源碼,所以做片筆記,踩坑踩的很耗時。 1.我用的IDE是IDEA,本地window需要配置JDK,MAVEN,HADOOP環境 2.上GitHub下載Hbase源碼(可以使用git或直接下載)

原创 關於hadoop3.x MR報錯:找不到或無法加載主類 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

用的apache Hadoop3.X,今天運行MR報錯: 找不到或無法加載主類 org.apache.hadoop.mapreduce.v2.app.MRAppMaster   關鍵需要配置兩個配置:mapred-site.xml 和 y