原创 maxwell收集binlog，不同網絡環境通過nginx發送數據到kafka集羣
maxwell通過實時收集mysql 的binlog變化，可以作爲數據同步工具。 但有時，應用部署在異地環境，mysql數據庫的變化通過maxwell無法直接發送到數據中心進行解析和數據同步，本次使用ngix方式作爲代理服務器，收集maxw
2020-04-11 16:57:44
1
原创 使用xtrabackup進行對數據進行全量恢復後，啓動數據庫報錯
使用xtrabackup對數據庫進行了全量恢復後，手動啓動數據庫報錯。[root@slyl-dev-db ~]# service mysqld startRedirecting to /bin/systemctl start mysqld
2020-03-20 15:15:05
原创 IDEA本地運行spark生成數據到hive中出錯
在window下通過idea開發，在代碼中需要spark，使用loacl模式，生成一些數據存放到hive中，使用的也是spark自帶的hive庫。 在idea 運行時報錯： Error while instantiating 'org.ap
2020-03-20 15:15:05
原创 通過maxwell讀取binlog日誌，把mysql變化數據傳入redis
Maxwell簡介 Maxwell是一個能實時讀取MySQL二進制日誌binlog，並生成 JSON 格式的消息，作爲生產者發送給 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其
2020-03-20 15:15:05
1
原创 使用idea開發flink報錯
使用idea開發flink報錯，就是普通的讀取文本內容，進行單詞計數。scala版本是2.11.12，flink是1.8.1報錯信息如下：Exception in thread “main” java.lang.NoSuchMethodEr
2020-03-20 15:15:05
原创 解決xtrabackup 報錯innodb too many file問題
軟件版本：centos 7.5-64mysql 5.7xtrabackup 2.4 按照相關文檔和資料在centos7上安裝了xtrabackup，然後依照命令進行備份報錯： [root@host7 ~]#innobackupex --de
2020-03-20 15:15:05
4
原创 oracle RAC修改私有IB網卡協議爲RDS協議
按照oraclesupport網上步驟，對步驟進一步細化，環境是rhel6.2-64 oracle11.2.0.31， 首先安裝IB網卡及驅動，並使用命令查看安裝好的網卡：[root@nari65 bin]# ifconfig -a
2019-02-22 18:06:24
1
原创 pig安裝在hadoop僞分佈式節點
本次pig安裝在一個hadoop僞分佈式節點。Pig是yahoo捐獻給apache的一個項目，它是SQL-like語言，是在MapReduce上構建的一種高級查詢語言，把一些運算編譯進MapReduce模型的Map和Reduce中，並且用戶
2019-02-22 18:06:23
原创 使用eclipse開發hbase程序時缺少包錯誤
在win上的eclipse進行配置hbase，然後編寫一個簡單的創建表的操作，使用ant的build.xml進行運行報錯：[sshexec] Connecting to 192.168.60.111:22 [sshexec] cmd :
2019-02-22 18:06:23
原创 Hive配置
Hive配置(只需要主機上配置) MySQL數據庫安裝元數據遷移到mysql主機上先安裝mysql，用於存放hadoop元數據Mysql驅動下載一個數據包mysql-connector-java-5.1.18-bin.jar，放到hiv
2019-02-22 18:06:22
原创 將oracle庫中表導出爲外部文本並指定分隔符
方法一：使用spool進行保存 SQL> spool emp.txt SQL> select empno||','||ename||','||job||','||mgr||','||sal from emp; EMPNO|
2019-02-22 18:06:20
原创 使用eclipse開發hbase程序時缺少包錯誤
在win上的eclipse進行配置hbase，然後編寫一個簡單的創建表的操作，使用ant的build.xml進行運行報錯：[sshexec] Connecting to 192.168.60.111:22 [sshexec] cmd :
2019-02-22 18:06:20
原创 hbase配置與安裝
HBase配置安裝 hbase0.98.5使用hadoop2.2.0安裝在rhel6.2系統。 下載 hbase-0.98.5-hadoop2-bin.tar.gz並上傳到服務器中使用命令進行解壓[root@master soft]#
2018-09-11 07:54:05
原创 red hat 6.2 部署Hadoop 2.2.0版
今天我們來實際搭建一下Hadoop 2.2.0版，實戰環境爲目前主流服務器操作系統RedHat6.2系統，本次環境搭建時，各類介質均來自互聯網，在搭建環境之前，請提前準備好各類介質。一、 環境規劃 功能HostnameIP地址Namenod
2018-09-11 07:54:05