原创 Elasticsearch分片、副本與路由(shard replica routing)
1、常見概念 集羣(cluster): 由一個或多個節點組成, 並通過集羣名稱與其他集羣進行區分 節點(node): 單個 ElasticSearch 實例. 通常一個節點運行在一個隔離的容器或虛擬機中 索引(index): 在 ES
2020-06-22 22:40:31
原创 Maven3種打包方式
在Maven中，主要有3個插件可以用來打包： maven-jar-plugin，默認的打包插件，用來打普通的project JAR包； maven-shade-plugin，用來打可執行JAR包，也就是所謂的fat JAR包； maven
2020-06-22 22:40:31
原创 零和博弈與囚徒困境
零和博弈（Zero-sum game），也叫零和遊戲。它的原理如下： 兩人對弈，總會有一個贏，一個輸，如果我們把獲勝計算爲得1分，而輸棋爲-1分。則若A獲勝次數爲N，B的失敗次數必然也爲N。若A失敗的次數爲M，則B獲勝的次數必然爲M。這
2020-06-22 22:40:31
1
原创 hue中oozie從mysql導入hive報錯 Could not load db driver class: com.mysql.jdbc.Driver
問題一 CDH6中，在oozie中執行sqoop命令時，可能需要手動添加一些jdbc包。 將jar包放置到hdfs中lib目錄 /user/oozie/share/lib/lib_${timestamp}/sqoop 然後重啓oo
2020-06-22 22:40:31
原创 Centos7 搭建pptp服務器
1.檢查是否支持pptp 返回ok即表示支持 modprobe ppp-compress-18 && echo ok 2.安裝ppp yum install -y ppp 3.安裝pptpd 首先要安裝epel源，由於官方源已經移除p
2020-06-22 22:40:31
原创 Spring Boot 之@Component、@configuration
Spring 2.5 中除了提供 @Component 註釋外，還定義了幾個擁有特殊語義的註釋，它們分別是：@Repository、@Service 和 @Controller。在目前的 Spring 版本中，這 3 個註釋和 @Comp
2020-06-14 13:35:17
原创 springboot 是如何啓動tomcat的
1. 添加 @SpringBootApplication註解 點擊進入該註解，我們可以發現其是一個複合註解，包括@SpringBootConfiguration、@EnableAutoConfiguration和@ComponentSca
2020-06-14 13:35:17
原创 HBase性能優化一：寫表操作
1.HTable參數設置1.1 Auto Flush通過調用HTable.setAutoFlush(false)方法可以將HTable寫客戶端的自動flush關閉，這樣可以批量寫入數據到HBase，而不是有一條put就執行一次更新，只有當
2020-06-02 00:31:45
原创 Es常用命令
查看索引 curl http://digov01:9200/_cat/indices 刪除索引 kib_policy_detail_index/kib_policy_detail_type/_delete_by_query { "
2020-04-15 16:42:25
原创 HUE集成Hbase
一、Hbase開啓代理用戶相關配置 Cloudera Manager修改Hbase配置 或Hbase配置文件-hbase-site.xml <property> <name>hbase.thrift.support.proxyuser
2020-03-29 23:37:47
原创 yum命令的使用與createrepo自建倉庫教程
一、在開始搭建自己的YUM倉庫之前，先來了解下如何獲取RPM包 在默認配置下使用yum命令安裝完軟件後安裝包是不會保留的，如果想在本地也留存一份安裝包，只需要將yum配置文件/etc/yum.conf中的keepcache=0改爲1即可，
2020-03-29 23:37:47
原创 2020年軟考考試大綱彙總
軟考高級考試大綱 信息系統項目管理師考試大綱 系統架構設計師考試大綱 網絡規劃設計師考試大綱 系統規劃與管理師考試大綱 系統分析師考試大綱軟考中級考試大綱 系統集成項目管理工程師考試大綱 信息系統管理工程師考試大綱 數據庫系統工程師考
2020-02-28 04:58:48
原创 CentOS7離線安裝Docker 19.03.1
安裝環境 基於X86_64的CentOS7系統 下載docker-19.03.1.tar.gz壓縮包 卸載已有的docker yum remove docker \ docker-client \ docker-client-lates
2020-02-25 22:54:20
原创 MySQL表導入到HDFS
導入loudacre數據庫中的account表到HDFS sqoop import \ --connect jdbc:mysql://localhost/loudacre \ --username training --password
2020-02-25 22:54:20
原创 分佈式RPC框架性能大比拼
Dubbo 是阿里巴巴公司開源的一個Java高性能優秀的服務框架，使得應用可通過高性能的 RPC 實現服務的輸出和輸入功能，可以和 Spring框架無縫集成。不過，略有遺憾的是，據說在淘寶內部，dubbo由於跟淘寶另一個類似的框架HSF（
2020-02-25 22:54:20