原创 Centos6.10 hadoop2.9.2安裝及配置(單機版)
一、環境 華爲雲服務器CentOS 6.10 64bit IP 139.9.177.214 jdk 1.8.0_222 hadoop 2.9.2 hadoop下載： http://mirror.bit.edu.cn/apache/had
2020-06-19 21:10:27
原创 MongoDB基礎--安裝
因新公司項目涉及大數據處理，選擇技術MongoDB，所以準備學習下這方面的知識！ 1、版本 MongoDB 下載 MongoDB 提供了可用於 32 位和 64 位系統的預編譯二進制包，你可以從MongoDB官網下載安裝，MongoDB
2020-06-09 16:01:16
原创 JobDataMap獲取value對象轉換異常問題 ERROR org.quartz.core.JobRunShell
2019/06/03 10:26:05 [ERROR] ERROR org.quartz.core.JobRunShell -> Job DEFAULT.TASK_b469fd77fc514ef8b15899a72f941b18 th
2020-06-09 16:01:16
3
原创 Kafka基礎--Kafka的高可用
一、高可用的由來 1.1 爲何需要Replication 在Kafka在0.8以前的版本中，是沒有Replication的，一旦某一個Broker宕機，則其上所有的Partition數據都不可被消費，這與Kafka數據持久性
2020-06-09 16:01:16
原创 Kafka基礎--Kafka的架構
一、Kafka的架構 如上圖所示，一個典型的Kafka集羣中包含若干Producer（可以是web前端產生的Page View，或者是服務器日誌，系統CPU、Memory等），若干broker（Kafka支持水平擴展，一般broker數
2020-06-09 16:01:16
原创 jvisualVm監控遠程的jvm
jvisualVm是Netbeans的profile子項目，已在JDK6.0 update 7 中自帶(java啓動時不需要特定參數，監控工具在bin/jvisualvm.exe)，能夠監控線程，內存情況，查看方法的CPU時間和內存中的對
2020-04-13 20:13:12
原创 IO多路複用—由Redis的IO多路複用
文章轉自：https://blog.csdn.net/happy_wu/article/details/80052617 inux IO多路複用有epoll， poll, select，epoll性能比其他幾者要好。 名詞比較繞口，理
2020-02-23 05:48:59
原创 docker安裝zookeeper集羣
1、安裝docker-compose 方便對docker容器的管理，使用一個配置即可實現所有容器的管理。 1.1 下載地址：https://github.com/docker/compose 選擇操作系統對應的版本： 1.2 安裝 雙
2019-07-03 02:50:08
原创 Kafka提升--流式處理（1）
1、什麼是流式處理 先來看看什麼是數據流（也被稱爲“事件流”或“流數據”）。首先，數據流是無邊界數據集的抽象表示。無邊界意味着無限和持續增長。無邊界數據集之所以是無限的，是因爲隨 着時間的推移，新的記錄會不斷加入進來。這個定
2019-06-27 04:13:49
原创 Kafka提升--可靠的數據傳遞
對於系統來說，可靠的數據傳遞不能成爲馬後炮。與性能一樣，在系統的設計之初就應該 考慮可靠性問題，而不能在事後纔來考慮。而且，可靠性是系統的一個屬性，而不是一 個獨立的組件，所以在討論 Kafka 的可靠性保證時，還是要從系統
2019-06-26 05:19:59
原创 Kafka提升--內部工作原理
如果只是爲了開發 Kafka 應用程序，或者只是在生產環境使用 Kafka，那麼瞭解 Kafka 的 內部工作原理不是必需的。不過，瞭解 Kafka 的內部工作原理有助於理解 Kafka 的行爲， 也有助於診斷問題。下面不會
2019-06-26 05:19:59
原创 MongoDB基礎--mongoTemplate操作內嵌文檔
關係型數據庫中，表與表的關聯關係有1:1，也有1：n的。在java的面向對象的世界裏就是主對象嵌子對象，與主對象嵌集合<子對象>的兩種形式。 1）使用mongoTemplate操作 主對象嵌子對象操作： 新增、修改都直接用如下方法： mo
2019-06-24 02:17:40
原创 比較兩集合獲取異同
原理：利用HashMap<Key,Value>,put\get方法底層（hash碰撞），故需重寫對象的equals（），hashCode（）方法！ 集合中實例 package io.unify.cva.entity; import c
2019-06-18 03:23:39
1
原创 MongoDB基礎--索引原理
爲什麼需要索引？ 當你抱怨MongoDB集合查詢效率低的時候，可能你就需要考慮使用索引了，爲了方便後續介紹，先科普下MongoDB裏的索引機制（同樣適用於其他的數據庫比如mysql）。 mongo-9552:PRIMARY> db
2019-06-11 08:28:08
原创 Kafka基礎--簡介
一、簡介 1.1 概述 Kafka是最初由Linkedin公司開發，是一個分佈式、分區的、多副本的、多訂閱者，基於zookeeper協調的分佈式日誌系統（也可以當做MQ系統），常見可以用於web/nginx日誌、訪問日誌，消息服務等等，L
2019-06-11 08:28:08