原创 內網服務器如何設置代理訪問外網
背景 首先有兩臺服務器AB，其中A有無外網，B有外網。A配置(內網IP172.19.58.202\系統CentOS7.4)，B配置(內網IP172.19.58.201\系統CentOS7.4)。現在A服務器是無法訪問外網的，需要使用代理的
2020-06-21 20:45:05
3
原创 Elasticsearch案例-SQL轉DSL語句
查看更多Elasticsearch、Logstash、Kibana的問題處理和案例 前文 Elasticsearch在較高版本中內置SQL查詢的功能，猜想本質上應該是將SQL語句轉化爲原生的DSL語句，再使用原生進行查詢，可以讓不熟悉ES
2020-06-21 20:45:05
7
原创 簡述zookeeper和ZAB協議
zookeeper爲分佈式應用提供一個高效可靠的分佈式協調服務器。zk通過zab協議來保證zk模式中數據的一致性。 zk集羣中的任何一臺集羣都可以響應客戶端的讀操作 zk將所以數據都存儲在內存中 zk中有三個角色，leader、follo
2020-06-21 20:45:05
原创 Hadoop的MapReduce的工作原理
MapReduce是一種編程模型，用於大規模數據的並行運算。本文分析Hadoop中的MapReduce的工作原理。 MapReduce分爲兩個階段： Map階段 Reduce階段 現在以下面原始數據爲例，解析MapReduce
2020-06-21 20:07:57
原创 Elasticsearch安裝-安裝附帶賬號密碼權限的ES集羣、Logstash和Kibana
查看更多Elasticsearch、Logstash、Kibana的問題處理和案例 Elasticsearch介紹 ElasticSearch 是一個分佈式、高擴展、高實時的搜索與數據分析引擎，可以用於全文檢索、結構化檢索和分析，它能
2020-06-21 20:07:56
原创 Spark提交任務的相關參數解析
Options: --master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. 配置spark運行的模式 local local[k] 本地模式 使用
2020-06-21 20:07:56
原创 spark相關名詞解釋
Application 與其它部件關係： 由一個driver進程和多個executor進程組成。 用戶使用Spark-submit提交到spark的整個應用，由一個driver進程和多個executor進程組成。 Cluste
2020-03-24 08:45:13
原创 大話設計模式筆記之UML圖
UML圖示例 類 這個動物矩形框表示一個類（class），圖分三層： 第一層，顯示類名，正體表示普通類，斜體表示抽象類。 第二層，類的特性，字段和屬性。 第三層，類的操作，方法。 圖中‘+’表示public，‘-’表示pr
2020-02-25 14:03:14
原创 Elasticsearch安裝教程（附加x-pack權限功能-賬號密碼）
Elasticsearch介紹 ElasticSearch 是一個分佈式、高擴展、高實時的搜索與數據分析引擎，可以用於全文檢索、結構化檢索和分析，它能很方便的使大量數據具有搜索、分析和探索的能力。Wikipedia、Stack Over
2019-08-23 09:15:15
11
原创 Linux修改ssh登陸端口
目錄 背景介紹 Firewall防火牆配置 SSH端口修改 背景介紹 新到的服務器同時擁有外網和內網，爲了提高服務器的安全性現對服務器的ssh端口和防火牆權限進行修改。 Firewalld防火牆配置 設置firewalld防火牆開機啓
2019-07-31 10:46:35
1
原创 linux用戶變成了bash4.2-$
我遇到的這種情況是用戶目錄下文件丟失，或者沒有用戶目錄也可能遇到這種情況。 首先，linux創建用戶的時候會默認在/home下面創建和用戶同名目錄，並且複製/etc/skel下文件到用戶目錄，這些文件是隱藏的可以使用指令ll -a查看。這
2018-08-28 14:24:21