原创 解決springboot集成mybatis-generator生成xxxithBLOBs問題
在springboot集成mybatis-generator生成pojo、mapper和mapping文件時，遇到生成的pojo有xxxithBLOBs，並且pojo類的屬性跟數據庫字段對應不上的問題 解決方案：在generato
2020-07-05 16:34:55
原创 配置ssh&HDFS部署使用&如何保證數據質量（數據重刷機制）&官網參數
安裝配置jdk、hosts、ssh 安裝配置jdk 上傳tar.gz包 [root@JD /]# cd /usr/java [root@JD java]# ll total 355840 drwxr-xr-x 8 root roo
2020-07-05 16:34:55
原创 Linux基本命令五
該文章內容包括四部分，分別爲 1、調度工具crontab 2、後臺執行nohup 3、軟連接 調度工具 現在主要的調度工具有 1、airflow 2、azkaban 3、rundeck 4、linux自帶的crontab cro
2020-07-05 16:34:55
原创 yarn資源調優參數&yarn的調度器&yarn的常用命令
yarn資源調優參數 概念介紹 container 是一個虛擬化的容器，包括memory和vcore兩個維度，作用是運行appmaster和task任務 物理核pcore 服務器上實際的物理CPU的核數 虛擬核vcore yar
2020-07-05 16:34:55
原创 maven異常：Updating Maven Project org/apache/commons/compress/archivers/zip/ZipArchiveEntry
使用maven進行導入springboot項目時，沒有引入引入Maven Dependencies，並且update時報錯，報錯信息如下 Updating Maven Project org/apache/commons/co
2020-07-05 16:34:53
1
原创 YARN部署&jps&Linux的oom及過期清理
YARN部署使用 yarn僞分佈式部署，主從架構 切換hadoop用戶 [root@JD ~]# su - hadoop Last login: Sun Dec 1 15:09:50 CST 2019 on pts/
2020-07-05 16:34:53
原创 Rundeck部署使用
rundeck的部署 部署jdk rundeck要求jdk1.8，查看jdk的命令which jdk 下載上傳 rundeck-launcher-2.10.1.jar 運行停止命令 java -jar
2020-07-05 16:34:53
原创 MySQL安裝部署&創建單獨用戶&配域名
MySQL安裝配置 上傳tar包到/uar/local目錄下 [root@JD ~]# cd /usr/local [root@JD local]# ll total 43856 -rw-r--r-- 1 root root 4
2020-07-05 16:34:53
原创 Hexo安裝部署和使用
nodejs部署 安裝nodejs 必須部署nodejs8.6以上版本 C:\Users\Administrator>node -v v8.11.1 C:\Users\Administrator>npm -v 5.6.0 永久設
2020-07-05 16:34:53
2
原创 MySQL使用二&多表查詢
MySQL使用二 單表查詢 *表結構 求年齡大於20，各個名稱的年齡和 select name,sum(age) from testdata where age > 20 group by name; 求各個名稱的年齡和大於2
2020-07-05 16:34:53
2
原创 DataNode拋內存溢出oom的error
CDH查看DataNode的內存情況 DataNode報錯信息 2017-12-17 23:58:14,422 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Pack
2020-07-05 16:34:52
原创 HDFS的副本放置策略&讀寫流程&pid文件&多節點和單節點磁盤均衡&安全模式&常用命令和設置回收站
HDFS副本放置策略 客戶端：執行put命令所在的機器稱爲客戶端 第一副本 假如上傳節點爲dn節點，優先放置在本節點；否則會隨機找一個磁盤不太慢、CPU不太繁忙的節點 第二副本 放置於第一副本不同的機架上 第三副本 放置於第二
2020-07-05 16:34:52
原创 Hive DDL&DML&DQL
Hive的DDL操作 創建數據庫 語法 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION
2020-07-05 16:34:51
原创 刀片機和機架&塊副本數&HDFS架構&塊損壞修復&小文件&配置修改存儲目錄
機架和刀片機 塊 副本數 塊的理解 存儲處理數據的最小單元，其中在hadoop1.x中默認大小爲64M，hadoop2.0默認大小爲128M，塊的大小是由hdfs-site.xml文件中的dfs.blocksize 屬性控制
2020-07-05 16:34:50
原创 Hive優化（調優總結）
一、查看執行計劃 explain extended hql；可以看到掃描數據的hdfs路徑 １、join的key值發生傾斜，key值包含很多空值或是異常值 這種情況可以對異常值賦一個隨機值來分散key 如： select user
2020-07-05 16:34:50