原创 在hadoop操作hdfs時遭遇權限問題失敗的解決辦法
在hadoop操作hdfs時 遇到Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x 問題 也是常說的權限問題； 解決辦
2020-07-01 21:30:01
原创 MyBatils Plus構建一個簡單的項目
MyBatis-Plus 榮獲【2018年度開源中國最受歡迎的中國軟件】 TOP5，做爲這兩年比較火的框架，使用起來還是很簡單的。 開始吧 1、首先準備一張表“users”表。 2、創建一個springboot工程，“可以使用 S
2020-07-01 21:30:01
原创 java操作hdfs新建maven工程的依賴包
記錄java操作hdfs新建maven工程的依賴包， <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-
2020-07-01 21:30:01
原创 flume的memeryChannel中transactionCapacity和sink的batchsize注意點
最近在做flume的實時日誌收集，記錄一下memeryChannel的transactionCapacity參數採的坑，transactionCapacity默認值爲100，也就是說收集端的sink會在收集到了100條以後再去提交
2020-07-01 21:30:01
原创 數據庫主從同步、讀寫分離配置
數據庫主從同步、讀寫分離配置 數據庫主從同步、讀寫分離在處理高併發當中也是很重要到的一個單元，同時，數據庫主從同步、讀寫分離不但可以用來處理高併發，同時還可以擁有負載均衡、數據庫備份等功能；下面就我我自己在配置主從同步的步驟做一下
2020-07-01 21:30:01
原创 oozie常用操作命令包括提交，KILL等操作
1.提交作業，作業進入PREP狀態 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161
2020-07-01 21:29:50
1
原创 MongoDB踩坑記錄之Exception authenticating MongoCredential異常及權限問題
MongoDB在操作的時候遇到權限問題 導致導入數據及連接hive出現權限問題， 常規的導入csv文件到MongoDB mongoimport --headerline --type=csv --file=./users.csv
2020-04-14 01:04:41
原创 虛擬機無法連接網絡
VMware Workstation虛擬機在使用過程中，會經常因爲虛擬機不能使用網絡而煩惱麼？或者新裝的虛擬機就不能正常連接網絡，下面來教大家一個小方法來解決這個題： 方法一： 1.1、我們要保證實體機的網路是通暢的，網頁能打開。
2020-03-14 09:04:27
原创 hive踩坑記錄之報錯：Java heap space
分享一個hive的 踩坑記錄，執行 需要跑MapReduce任務的語句時，報錯Error: Java heap space（JAVA 堆空間不足），排查該錯誤是由於hive任務所使用的內存數量造成的 解決辦法： 1、第一個方案 在
2020-03-14 09:04:27
原创 hive踩坑記錄之報錯：Map local work exhausted memory
hive執行join語句時 報錯Map local work exhausted memory 導致該錯誤的原因是localtask出現了內存溢出。 由於開啓了hive.auto.convert.join，但是實際小表大小是hiv
2020-03-14 09:04:27
原创 flume-sink報錯 : close() called when transaction is OPEN - you must either commit or rollback first
寫flume實時導入數據時報錯 flume-sink報錯 : close() called when transaction is OPEN - you must either commit or rollback first
2020-03-04 20:03:09
原创 記錄kafka常用的10個shell 操作命令
1、查看topic kafka-topics.sh --list --zookeeper localhost:2181 2、創建topic kafka-topics.sh --zookeeper localhost:2181 --
2020-03-04 20:03:09
原创 Python字符串格式化str.format() 方法詳解
文章目錄Python 中 str.format() 方法詳解0. 參考資料1. 術語說明2. 簡單字段名2.1 簡單字段名的說明2.2 省略字段名2.3 數字形式的簡單字段名2.4 變量名形式的簡單字段名2.5 簡單字段名的混
2020-02-23 04:46:58