原创 docker在線安裝及常用命令

1.更新軟件包 (可以不更新) # sudo yum update 2.安裝需要的軟件包, yum-util 提供yum-config-manager功能,另外兩個是devicemapper驅動依賴的 sudo yum inst

原创 ES7集羣安裝、配置、卸載

最新下載地址:https://www.elastic.co/cn/downloads/past-releases#elasticsearch 可選版本下載地址:https://www.elastic.co/downloads/past-r

原创 Ambari2.7.3 Hortonworks3 HDP(hadoop3.1.0集羣安裝)

目錄 一、目的: 二、版本選擇: 三、hortonworks簡介 四、準備工作: 4.1、Ambari、HDP版本介紹 4.2、工具包下載: 4.3、服務器防火牆關閉 4.3.1、關閉掉linux防火牆(所有機器) 4.4、修改主機名及機

原创 linux設置java jar包開機啓動

1、在任意位置創建serverStart.sh vi serverStart.sh 2、編寫腳本內容 # !/bin/bash # program # file preview server star export JAVA_HOME

原创 hadoop safemodeget|grep‘SafemodeisOFF‘‘returned1.問題

ameNode處於安全模式介紹: 爲什麼NameNode會處於安全模式? 1、NameNode發現集羣中DataNode丟失達到一定比例(0.01%)時會進入安全模式,此時只允許查看數據不允許對數據進行任何操作。 2、HDFS集羣即使啓動

原创 docker離線安裝(二進制方式)

一、安裝 1.1、下載包 在https://download.docker.com/linux/static/stable/x86_64界面下載一個docker tar包 例如docker-19.03.4.tgz 1.2、解壓包  t

原创 hadoop3.0.1.0集羣安裝(hortonworks(HDP)發行版)

一、前言: 爲了實現公司項目對海量業務數據、文件進行存儲,系統間共享。 數據安全 需要實現數據冗餘,避免數據的單點故障 可線性擴展 當數據增長到TB、甚至PB以上時,存儲方案需要支持可線性擴展 存儲高可用 某個存儲服務宕掉時,不影響整體存

原创 linux centos7 rabitMq安裝

一:安裝wget yum install -y wget yum -y install socat 二:安裝erlang 下載:wget http://www.rabbitmq.com/releases/erlang/erlang-19.

原创 kafka常用命令

查看topic的消費情況: ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181  --group lanwonnode_455

原创 所有解碼都兼容的FFMPEG

https://johnvansickle.com/ffmpeg/

原创 redis3.2.1集羣介紹及在Linux操作系統上安裝

一、redis集羣介紹點擊打開鏈接Redis3.0版本之後支持Cluster.二、redis集羣安裝準備工作:      1. 安裝兩臺虛擬機,模擬6個節點,一臺機器3個節點,創建出3 master、3 salve 環境。      2.

原创 kafka集羣

Kafka【第一篇】Kafka集羣搭建Kafka初識1、Kafka使用背景在我們大量使用分佈式數據庫、分佈式計算集羣的時候,是否會遇到這樣的一些問題:我們想分析下用戶行爲(pageviews),以便我們設計出更好的廣告位我想對用戶的搜索關

原创 轉載:Redis與Mysql數據同步解決方案整理

最近在做一個Redis數據同步到數據庫MySQL的功能。自己想了想,也有大概方案。1.隊列同步,變跟數據2份,使用消息隊列,一份給Redis消費,一份給Mysql消費。2.後臺定時任務,定時刷新Redis中信息到數據庫。網上也到處找了下解

原创 轉載:Redis和MySQL的結合方案

方案由從易到難的順序,但無論哪種方法,都需要保證的是Reids和MySQL的數據一致性。方案一:程序同時寫Redis和MySQL讀Redis方案二:程序寫MySQL, 使用Gearman調用MySQL的UDF,完成對Redis的寫讀Red

原创 Solr單機版簡介和安裝以及Spring boot集成使用

目錄    一、簡單介紹solr    二、solr安裝    三、分析器安裝    四、全量導入、增量導入    五、java 集成客戶端    六、docker部署。一:Solr簡介    1、Solr它是一種開放源碼的、基於 Luc