原创 ogg三大進程常用參數

============================================1、管理進程 oggCI (ogg1) 22> edit params mgr PORT 7809 DYNAMICPORTLIST 7810-

原创 Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2單機僞分佈式安裝

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2單機僞分佈式安裝 注意 1、本文檔使用的基礎hadoop環境是基於本人寫的另一篇文章的基礎上新增的spark和hudi的安裝部署文檔,基礎環

原创 Kylin消費Kafka數據流式構建cube

文章開始之前先說明環境情況,這裏kylin消費的kafka數據是從Oracle 數據庫用Ogg For Bigdata以json格式將數據投遞到kafka topic的,投遞的時候,關於insert和update 之前的數據投遞到

原创 Solr5.1案例文檔導入

1、創建內核 [root@hadoop exampledocs]# cd /hadoop/solr/ [root@hadoop solr]# ./bin/solr create -c jcg -d basic_configs S

原创 Solr5.1+Jcseg分詞器安裝部署(中英文同義詞、停止詞配置)

Solr5.1+Jcseg分詞器安裝部署(同義詞、停止詞) #####################################################################################

原创 linux5 安裝 oracle 11g(11.2.0.4)實驗

安裝過程中如遇到各種問題可以加本人qq:1215864353一起討論解決 安裝環境(可以查看附件的環境安裝過程來安裝和我這個一模一樣的環境): oracle linux 5 64位 ,oracle11.2.0.4 64位  ip 192.

原创 Hadoop+Mysql+Hive+zookeeper+kafka+Hbase+Sqoop+Kylin單機僞分佈式安裝及官方案例詳細文檔

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4單機僞分佈式安裝及官方案例測試詳細文檔 #########

原创 sqoop避免輸入密碼自動增量job腳本介紹

上一篇文章介紹了sqoop增量同步數據到hive,同時上一篇文章也給出了本人寫的hadoop+hive+hbase+sqoop+kylin的僞分佈式安裝方法及使用和增量同步實現的連接,上篇文章連接:Sqoop增量同步mysql/o

原创 Ogg For Bigdata 同步Oracle數據到KAFKA(包括初始化歷史數據)

OGG同步Oracle數據到KAFKA:OGG初始化進程初始化歷史數據 在前面曾寫過幾篇關於OGG同步Oracle等庫數據到kafka的文章: OGG實時同步Oracle數據到Kafka實施文檔(供flink流式計算) OGG F

原创 Linux Solr5.1安裝及導入Oracle數據庫表數據

一、Solr5.1安裝 1、官方下載鏈接 點此下載 2、下載上傳壓縮包到Linux服務器 [root@hadoop ~]# mkdir -p /hadoop/solr 通過sftp上傳壓縮包至此目錄: [root@hadoop

原创 Hadoop+Hive+HBase+Kylin 僞分佈式安裝指南

Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4單機僞分佈式安裝文檔 注意: ##################################################

原创 OGG12異構同步mysql到oracle(windows mysql實時同步數據到linux oracle)詳細文檔

OGG12C異構同步mysql5.5到oracle11.2.0.4(windows mysql實時同步數據到linux oracle)詳細文檔 有一個需求,將一臺Windows服務器上的Mysql數據實時同步到Linux下Orac

原创 Sqoop增量同步mysql/oracle數據到hive(merge-key/append)測試文檔

上一篇文章介紹了sqoop全量同步數據到hive,同時上一篇文章也給出了本人寫的hadoop+hive+hbase+sqoop+kylin的僞分佈式安裝方法連接,上篇文章連接:Sqoop全量同步mysql/Oracle數據到hiv

原创 Sqoop全量同步mysql/Oracle數據到hive

前面文章寫了如何部署一套僞分佈式的handoop+hive+hbase+kylin環境,也介紹瞭如何在這個搭建好的僞分佈式環境安裝配置sqoop工具以及安裝完成功後簡單的使用過程中出現的錯誤及解決辦法,前面說的文章連接清單如下:

原创 Sqoop增量同步Oracle數據到hive:merge-key再次詳解

對於sqoop增量同步Oracle數據到hive的命令參數以及如何定製自動增量job的測試已經再前面幾篇文章詳細測試過了,連接: 1、sqoop避免輸入密碼自動增量job腳本介紹 這篇文章是基於上面連接的文章繼續做的拓展,上篇文章