原创 Kafka+Flume1.7+HDFS整合流程及遇到的坑
需要注意的點： 1、kafka和flume整合需要要對應的jar包 2、Hadoop中對應的jar包也需要導入flume的lib下 HDFS中的core-site.xml和hdfs.xml兩個配置文件放入flume的conf下 3、遇到的
2020-06-24 05:49:12
原创 Kafka-connect
實現將kafka數據存入HDFS中 1、 Kafka Connect是一個用於將數據流輸入和輸出Kafka的框架。Confluent平臺附帶了幾個內置connector，可以使用這些connector進行關係數據庫或HDFS等常用系統到k
2020-06-24 05:49:12
原创 MongoDB 修改器push（Java實現）
由於表結構設計中需要對內嵌文檔進行添加，如下：{ name：Joli; age: 24; course:{ //內嵌文檔形式 00:{XXXXX}; 05:{XXXXX}; ......
2020-06-24 05:49:12
原创 MongoDB集羣搭建的整理及出錯整理
之前搭建過集羣，現在重新搭建，竟然花費了我一晚上時間，不就這邊出錯，就是那邊少東西，頭疼，還是趁熱打鐵，出一份完整的搭建教程 一、幾個比較常用的linux語句： 1、查看主機的線程： ps aux|grep mongo (查看mongo線
2020-06-24 05:49:12
原创 Flume1.7 安裝及與Kafka對接
[1.6版本有bug，1.7已經修復，所以大家可以下載安裝1.7版本的，步驟一樣] 一、Flume1.6安裝 1、下載：http://archive.apache.org/dist/flume/1.6.0/ 2、解壓到 /usr/lo
2020-02-24 12:19:39
原创 MongoDB-Driver.jar包 Ecplise
使用Ecplise連接MongoDB時需要使用三個jar包，分別如下： 1、mongodb-driver-3.4.2.jar https://oss.sonatype.org/content/repositories/releases/o
2020-02-24 12:19:39
原创 《Java》深拷貝與淺拷貝
轉載於：http://blog.csdn.net/zhangjg_blog/article/details/183692011、JAVA對象的創建clone顧名思義就是複製，在Java語言中，clone方法被對象調用，所以會複製對象。所謂
2020-02-24 12:19:39
原创 Windows上搭建MongoDB集羣上需要注意的坑
由於之前搭建的集羣性能不高，爲了找出之前導入MongoDB數據慢的原因，所以重新找了三臺Windows機器重新搭建，三臺機器分別爲8G ，8G，16G內存，硬盤都爲500G 1、首先從官網下載了MongoDB 3.4.10的msi鏡像，解
2020-02-24 12:19:39
原创 併發編程中Lock, synchronized和 ReadWriteLock的異同、重入鎖 和不可重入鎖的區別
最近在做MVCC的project，其中使用到了ReadWriteLock鎖機制，特此寫篇博客來記錄一下一、synchronized它可以鎖住一個方法或者一段代碼塊，僞代碼如下：//鎖住方法 public synchronized void
2020-02-24 12:19:39
原创 Consistent hashing 一致性哈希算法以及Java實現（已做測試）
今天重新看了一致性hash算法，做了一下筆記，先保存下來吧，第一次手動實現了一遍，雖然有一部分是參考百度上的內容，但是也是根據bug自己改了一下 以下是網上參考以及自己理解的筆記： 以下代碼參考網絡： package zlp
2020-02-24 12:19:39
原创 數據從Oracle數據庫導入到MongoDB數據庫中出現的一些問題，jar包的正確運行
集羣搭建好了，片鍵也設置好了，接下來就是寫導入的代碼來進行數據的遷移 思路：因爲其中有6個表，所需要導入的數據量是200G，400G......數據量太大，所以需要將導入數據的代碼打成jar包，然後放在不同機器上運行，前提：代碼裏設置了a
2020-02-24 12:19:39
原创 CAS與AtomicInteger類的學習分享
參考：http://blog.csdn.net/u012734441/article/details/51619751參考：http://www.importnew.com/22078.html一、Java中CAS的簡單介紹1、悲觀鎖與樂
2020-02-24 12:19:39
原创 JAVA中CAS詳解
轉載於：http://blog.csdn.net/ls5718/article/details/52563959轉載於：http://blog.csdn.net/Hsuxu/article/details/9467651轉載於：https
2020-02-24 12:19:39
原创 MongoDB中_id字段的讀取注意事項
在項目的表結構修改過程中發現以下問題，記錄如下：問題一：如何對於一個文檔的“_id”的讀取？ 答：以爲“_id”和其他字段一樣，也是Document d = mongoCursor.next(); String id = d.get(
2020-02-24 12:19:39
原创 MongoDB集羣分片及片鍵的選擇
上一篇是搭建好了MongoDB集羣，接下來開始對於數據庫的表進行片鍵的選擇 1、因爲項目所需，此處有六張表，分別是czgx\ljgx\qjjd\sj\wl\wnjd這六張表，所用的片鍵選擇爲： czgx：承載關係編號，時間，_id ljg
2020-02-24 12:19:39