原创 Java泛型的一個簡單應用

Java泛型的一個簡單應用 泛型的使用一直不太明確,今天寫了個例子驗證了下,先定義了三個類: Peple類: public class People<T> { String name; int age; Lis

原创 Springbatch框架系列介紹

Spring batch也是當下比較流行的批處理框架 項目組最近在做後臺業務重構,根據業務場景選型後,用spring下的springbatch作爲批處理框架,進行對現有業務重構。 Spring batch是一個輕量級的、全面的批處理框

原创 hive on spark開發demo

public class SparkHiveTest { public static void main(String[] args) { String warehouseLocation = "hdf

原创 F5負載均衡原理

  2. 負載平衡典型流程     通過VIP來截獲合適的需要負載平衡的流量   服務器監控和健康檢查,隨時瞭解服務器羣的可用性狀態  負載均衡和應用交換功能,通過各種策略導向到合適的服務器    2.1   通過VIP來截獲合適的

原创 Hadoop下的connect refused問題

Hadoop下的connect refused問題 問題產生原因: 假設hadoop正常運行中出現這個問題,那有可能在重啓hadoop的過程中,hadoop集羣出現了異常。 解決方法: 這個時候jps會發現,有得機器上的服務啓動不全,  

原创 Hive的metastore及其配置管理

在學習Hive的配置管理參數時,曾將參數分爲四類:Hive管理參數、Hive元存儲(Metastore)管理參數、與Hadoop交互的管理參數、用於傳遞運行時信息的參數,當時並沒有對Metastore參數進行深入的學習,現在就開始學習

原创 docker學習入門小結

公司爲了進一步業務的發展需要,組織了爲期兩天的docker容器化培訓,也對該領域的大致概念、發展方向有了一定的瞭解。針對傳統軟件開發中存在的諸多問題,docker藉助集裝箱的成功經驗應運而生,docker主要解決了軟件生命週期中的快速發佈

原创 Tuxedo中間件常用命令

官方地址:https://www.oracle.com/cn/index.html *tmboot 啓動服務: 參數說明: -l lmid 啓動邏輯服務器名爲lmcd服務器上的所有進程 -g grpname 啓動GROUP名

原创 Maven工程中的pom文件詳解

<span style="padding:0px; margin:0px"><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w

原创 Spark項目開發--Spark sql讀寫Oracle、Mysql【DRDS】、Hbase數據庫--Java實現

Spark sql讀寫Oracle數據庫–Java實現 作者也是初入Spark開發沒多長時間,在寫代碼的過程中也是踩了不少坑,畢竟一提到Spark的項目大部分都是Scala實現的,雖說Scala跟Java相似度極高,但是在接口的使用上還是

原创 C++編譯報錯: undefined reference to clock_gettime

在編譯C++代碼時有時候會出現以下錯誤,作者是在編譯librdkafka的時候遇到的,現在與各位網友分享並提供解決方案。 Makefile中缺少依賴庫:-lrt 如下圖: 將依賴項添加到Makefile中相應依賴庫的後面,重新編

原创 單核CPU正弦曲線

編程之美的例子 #include "Windows.h" #include "stdlib.h" #include "math.h" #include <iostream> using namespace std; const dou

原创 storm項目入門之wordCounter

storm項目入門之wordCounter 最近在看storm,先調個小例子吧,後續學習筆記奉上: 環境 Intellij IDEA Storm1.1.1 代碼分四部分:pom文件、Spout,Bolt,Topology 第一部分p

原创 白話kafka(二)

前幾天在白話kafka(一)中簡單介紹了下kafka的大致構成,對幾個關鍵詞進行了解釋說明,當然在闡述的過程中也存在很多的漏洞,還請大家多多包涵!最近公司在搞封閉,一直沒繼續寫,剛好新的專題,需要搭建一套kafka集羣,下面結合搭建過程,

原创 librdkafka在Linux下的安裝測試

librdkafka壓縮包下載 https://github.com/edenhill/librdkafka 拷貝到指定目錄,解壓 unzip librdkafka-master.zip 對.py文件賦權 chmod 777