原创 python實現定時調度的框架

名稱:python_crontab 功能:python實現定時任務的功能 項目出發點: 因項目需求,不能使用linux系統的crontab的,準備自己開發一個多用戶定時任務框架。 設計思路: 基本的原理是採用crontab的原理是

原创 Spring 報錯:Error creating bean with name

出錯問題: org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'XXXXX': Injection of

原创 eclipse-Project facet Java version 1.8 is not supported.

一看知道是因爲jdk版本不一致所導致,如何解決? 方法一: 選中項目 Properties , 選擇 Project Facets,右擊選擇 Java , Change Version: 方法二: 在 項目的目錄下有一個.s

原创 HDFS的acl和linux的acl機制

一、HDFS的權限設置之acl分配 官網參考地址:http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsPermissionsGuide

原创 LDAPException size limit exceeded

轉載,但是非常有用 轉載連接 java Error:LDAPException:Sizelimit Exceeded Sizelimit

原创 ### Error building SqlSession. ### The error may exist in sqlmap/User.xml

org.apache.ibatis.exceptions.PersistenceException: ### Error building SqlSession. ### The error may exist in sqlma

原创 hadoop的kms結合acl配置

最近在配置hadoop的kms,網上找了好多文檔,最後發現,就是官網和一篇文檔寫的比較詳細。因爲差不多,自己就懶得再去寫,等有機會在做。 http://www.qedev.com/bigdata/732.html https://ww

原创 HDFS Rolling Upgrade-HA回滾升級

最近在研究hdfs的回滾升級,包括版本升級,數據快照備份等內容。版本升級分爲爲非HA的,HA的版本升級以及聯合升級 我這次是2.6.5的版本升級到2.9.2 首先,先備份最新的dfs.namenode.name.dir下的鏡像和編輯日

原创 HDFS的目錄文件的大小的數量的控制

首先:Hadoop從2.4.0版本開始支持hdfs的ACL 官網參考hadoop2.6.5 一、設置目錄下的文件數量上限 [root@node4 ~]# hdfs dfsadmin -setQuota 2 /ldata01 [root

原创 shell腳本化實現hadoop集羣安裝

最近自己在研究shell腳本實現hadoop,hive等腳本化安裝,附圖,有需要了解的可以聯繫我。可以私聊

原创 hadoop單節點轉HA搭建過程中出現的問題總結篇(二)

一、namenode的格式化報錯 bin/hadoop namenode -format 時候出現以下錯誤 org.apache.hadoop.hdfs.qjournal.client.QuorumException: Unabl

原创 hadoop動態刪除節點

Hadoop動態刪除節點 修改conf/hdfs-site.xml文件 <property>   <name>dfs.hosts.exclude</name>   <value>/usr/local/hadoop/conf/ex

原创 hadoop單節點轉HA搭建過程中出現的問題總結篇(一)

解決關閉Hadoop時nonamenodetostop異常下面是幾種參考方式https://blog.csdn.net/gyqjn/article/details/50805472hadoopHA啓動時兩個namenode節點

原创 hdfs的Name node is in safe mode報錯

最近在安裝和使用hadoop的時候,出現Name node is in safe mode.的問題,自己嘗試了三種方式,最後只有第三種可以使用。 原理 第一種使用bash命令 hdfs namenode --safemode ente

原创 Matplotlib is building the font cache using fc-list. This may take a moment解決辦法

Matplotlib is building the font cache using fc-list. This may take a moment解決辦法. 此文章參考:https://blog.csdn.net/qq_36346