原创 centos7搭建spark集羣環境筆記
安裝spark（集羣環境, 貌似spark的master節點必須與hadoop的master節點一致） cd /soft tar -zxvf spark-2.
2020-07-02 03:35:49
原创 使用intellij idea 15.0.6工具創建可執行 JAR
第一步：選中項目，點擊 File -> Project structure -> artifacts ,然後在彈出的面板的中間點擊綠色+號按鈕，選擇 JAR -> from modules with dependencies。至此
2020-07-02 03:35:38
原创 Java Thread.interrupt 複習
本文轉載自：Java Thread.interrupt[點擊打開鏈接], 文章寫的太好，怕丟了，所以原文也一併拷貝過來。下面這個場景你可能很熟悉，我們調用Thread.sleep(),condition.await(),但是IDE提示我們
2020-07-02 03:35:37
原创 hadoop 2.7.4 下運行WordCount例子筆記
1.源碼如下： package com.mapred.core; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; impor
2020-07-02 03:35:37
原创 Cas原理備忘-
cas原理和流程 經常有新人問我cas的原理，解釋了很多遍，有時候會很不耐煩。恰好看到文章單點登陸服務端搭建教程用文字描述的很細緻，所以順手抄錄了其中的關鍵描述。目的是以後有人問，直接把摘錄的blog扔給他。 用戶通過bro
2020-07-02 03:35:37
原创 java操作hadoop hdfs，實現文件上傳下載demo
本文主要參考了Hadoop HDFS文件系統通過java FileSystem 實現上傳下載等，並實際的做了一下驗證。代碼與引用的文章差別不大，現列出來作爲備忘。 import java.io.*; import java.net.UR
2020-07-02 03:35:37
1
原创 kafka多線程消費和手動提交偏移量java程序示例
本人收藏了一篇關於kafka多線程消費和手動提交偏移量的博文 , 設計思路值得借鑑， 所以也在此處分享給大家 : kafka多線程消費及處理和手動提交處理方案設計 分享本文的目的是，本人的這一篇博文會改進推薦的文章中的代碼，並新增
2020-06-01 11:42:41
原创 postgres主從搭建步驟
----------------------------------------------------- 刪除備庫用戶 psql.exe -U postgres -h 127.0.0.1 -p 5432 -c "drop
2020-06-01 11:42:41
原创 netty-ResourceLeakDetector用法測試
在netty中，只要實現了ReferenceCounted 這個接口的類，都需要保證在正確的時刻調用"release"方法，否則這個對象的引用計數無法被重置爲0。最終後果是這個被使用過的對象無法返回對象池或無法釋放其內部佔用的內存
2020-06-01 11:42:41
原创 一種重置生產者消費者模式的消費隊列的線程安全的做法（java）
/* * @author lihong * @date 2016年1月1日 下午5:20:02 * @version v1.0 */ package com.lihong.DDPush; import java.util.Lin
2020-02-21 01:09:56
原创 java連接Hbase 1.4.0集羣進行增刪改查示例
1.本示例的項目結構如下圖所示： 2.示例中的配置文件hbase-site.xml，只需將Hbase集羣中的同名配置文件拷貝進來即可，該配置文件內容如下： <?xml version="1.0"?> <?xml-stylesheet t
2020-02-21 01:09:56
原创 一個日誌記錄工具類
LogUtil： import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; public class LogUtil {
2020-02-21 01:09:56
原创 netty-Netty中pipeline設計模式的一個高仿示例
下屬是一個Netty中pipeline設計模式的高仿示例。下述代碼中：Channel對應netty中的AbstractChannel， AbstractContext對應netty中的 AbstractChannelHandlerCo
2020-02-21 01:09:56
原创 一個讀取文件內容的shell腳本
如下展示的是一個shell腳本，該腳本可以2行2行的讀取文件中的內容，然後把讀取到的文件內容保存到一個名爲target.json的文件當中，然後打印出target.json中的內容，打印完畢刪除target.json文件，然後再新建tar
2020-02-21 01:09:55
原创 idea中字體顏色設置成類似eclipse的方案
由於本人一開始使用的是eclipse，轉爲idea後爲了習慣這個新的編輯器，所以將其字體顏色設置的與eclipse類似，以便感覺是在使用eclipse，後來就習慣這個風格了，現在做一下筆記，順便分享給有需要的人： 設置idea中文件狀態顏
2020-02-21 01:09:55