原创 Sqoop --password-file 設置密碼
使用這種方式指定密碼時，文件既可以放在本地，也可以放在集羣上： 使用echo passwd > ~/.passwd，將密碼寫入文件， chmod 400 ~/.passwd 將密碼文件設置爲當前用戶只讀，防止他人知悉該密碼。 sqoop-
2020-06-19 16:52:07
原创 Hadoop HDFS升級HA，Hive舊的庫表元數據需同步更新
一、配置HDFS HA 簡介： 任意時刻只有一個NameNode處於Active狀態，爲集羣操作提供服務。其他NameNode全部處於Standby狀態，他們維護足夠的狀態信息，以便在Active Failover時，快速提供服務切換
2020-06-19 16:00:05
3
原创 Spark On Yarn 部署（不帶權限功能）注意替換域名和網址
1、在hadoop安裝目錄下找到yarn-site.xml配置文件，添加如下配置： <property> <name>yarn.nodemanager.pmem-check-enabled</name>
2020-06-19 16:00:05
原创 Sqoop1.4.7 java.lang.ClassNotFoundException: org.apache.commons.lang.StringUtils
Warning: /apps/sqoop/../hcatalog does not exist! HCatalog jobs will fail. Please set $HCAT_HOME to the root of your HCa
2020-06-19 16:00:05
11
原创 kafka-eagle安裝
1、首先去官網下載eagle http://download.kafka-eagle.org/ 2、上傳至服務器，解壓到安裝目錄，我使用的是1.4.4版本 tar -xzf kafka-eagle-bin-1.4.4.tar.gz -C
2020-06-19 16:00:05
原创 Sqoop增量導入數據
# Sqoop提供了增量import數據的方法，可以只從RDBMS中獲取上次import操作後的新增數據。 Argument Description --check-column (col) Specifies the column
2020-06-19 16:00:05
原创 Flink HiveCatalog
Hive Metastore作爲一個元數據管理的標準在Hadoop生態系統中已經成爲公認的事實，因此Flink也採用HiveCatalog作爲表元數據持久化的介質。對於同時部署了Hive和Flink的公司來說，可以方便管理元數據，而對於只
2020-06-19 16:00:05
1
原创 Hive 分區歸檔
第一次使用分區歸檔，解決分區下小文件過多的問題： 使用步驟： 1 執行：set hive.archive.enabled=true; 2 執行：ALTER TABLE test.users_part ARCHIVE PARTITION(
2020-05-14 15:20:35
原创 Hadoop HDFS安裝
首先需要獲取Hadoop程序，可以去到Apache Hadoop官網進行下載：http://hadoop.apache.org/releases.html。 1、配置SSH無密碼登錄: [user@localhost ~]$ cd [u
2020-02-20 13:24:13
原创 安裝Redis和Redis Cluster
安裝Redis 1、下載Redis，由於現在最新的Redis版本已經到了3.0.4，所以測試使用的版本就是3.0.4. 下載地址：http://redis.io/ 2、下載的文件名爲：redis-3.0.3.tar.gz，使用下面
2020-02-20 13:24:00
原创 Linux C報錯： /usr/bin/ld: cannot find -ldb
今天在服務器編寫代碼的時候遇到了這個錯誤，上次遇到的時候解決了下，這次操作系統重裝後又遇到了 相同的錯誤，在此記錄一下，如果你也遇到了類似的錯誤，可以用一下方法是否能夠解決。 代碼在linux下編譯運行，下面是編譯的最後一步，用到
2020-02-20 13:24:00
原创 MySQL 查詢緩存測試
<pre name="code" class="sql"> 查找完MySQL查詢緩存的相關資料後，自己做了一些測試，整理如下： 查看MySQL的查詢緩存參數設置： <span style="white-space:pre"> </spa
2020-02-20 13:24:00
原创 hadoop修改hadoop.tmp.dir
hadoop.tmp.dir的目錄默認指向的是：/tmp/hadoop-${USERNAME} 這樣會有個問題，系統重啓時會自動刪除/tmp目錄下的文件，導致你之前對hadoop做的很多 操作都被刪除了，需要重新再來，比如你想hdfs導入
2020-02-20 13:23:59
原创 Python MATLAB
Python中要想調用MATLAB的功能，需要安裝matlab.engine，此工具在matlab的安裝目錄下，比如： C:\Users\admin>cd C:\apps\MATLAB\R2019a\extern\engines\pyt
2019-07-28 12:59:39
原创 Hadoop Mapreduce ClassNotFoundException: javax.activation.DataSource
運行hadoop MapReduce報如下錯誤： [2019-07-16 11:39:24.204]Container exited with a non-zero exit code 1. Error file: prelaunch.
2019-07-18 12:58:27
7