原创 Hadoop： CDH 5--不同步的 JournalNode
Hadoop： CDH 5--不同步的 JournalNode Author: Fu cloudera manager出現了hdfs的警告，類似下圖： 解決的思路是： 1、首先解決簡單的問題，查看警告提示的設置的閥值時多少，這樣
2020-06-23 06:59:47
3
原创 spark調整日誌顯示級別
摘要 在學習使用Spark的過程中，總是想對內部運行過程作深入的瞭解，其中DEBUG和TRACE級別的日誌可以爲我們提供詳細和有用的信息，那麼如何進行合理設置呢，不復雜但也絕不是將一個INFO換爲TRACE那麼簡單。 主要問題 調整S
2020-06-23 06:59:47
原创 Sqoop使用分析
Sqoop的Mysql數據導出實現分兩種，一種是使用JDBC方式從Mysql中獲取數據，一種是使用MysqlDump命令從MySql中獲取數據，默認是 JDBC方式獲取數據，如果要使用dump方式獲取數據，需要添加 -direct 參數
2020-06-23 06:59:47
原创 Kafka性能測試方法及Benchmark報告
本文主要介紹瞭如何利用Kafka自帶的性能測試腳本及Kafka Manager測試Kafka的性能，以及如何使用Kafka Manager監控Kafka的工作狀態，最後給出了Kafka的性能測試 摘要 本文主要介紹瞭如何利
2020-02-26 05:16:02
原创 Hive的Security配置
《Programming Hive》的Security章節取出來，翻譯了一下。 Hive還是支持相當多的權限管理功能，滿足一般數據倉庫的使用。 Hive由一個默認的設置來配置新建文件的默認權限。 Xml代碼 <
2020-02-26 05:16:02
原创 Hive權限控制和超級管理員的實現
Hive權限機制： Hive從0.10可以通過元數據控制權限。但是Hive的權限控制並不是完全安全的。基本的授權方案的目的是防止用戶不小心做了不合適的事情。 先決條件： 爲了使用Hive的授權機制，有兩個參數必須在hive-
2020-02-26 05:16:02
1
原创 sqoop導數類型不支持解決方法：Hive does not support the SQL type for column
sqoop導數類型不支持解決辦法：Hive does not support the SQL type for column sqoop導數從oracle到hive中，遇到RAW等類型時，會報錯： 013-09-17 19:33:12,
2020-02-26 05:16:02
原创 AngularJS+RestfulAPI+BasicAuth+Python/PHP/Node.JS來實現一個最簡單的新聞管理後臺
備忘： 前言 一般來說，一個管理後臺的構建的基本流程是：(1)選擇一個開發語言->(2)選擇一種數據庫->(3)選擇一個開發輪子(framework)->(4)在輪子上搭建前端框架->(5)實現業務邏輯。 一旦一個後臺做出來以
2020-02-26 05:16:02
原创 麥肯錫告訴你：究竟是什麼決定了你的職場上限？
畢業5年，我的月薪從1900到現在50000。 我不認爲你的薪水、職場上限跟你有沒有讀MBA，喜不喜歡加班有關。 真正的職場上限，往往取決於你有沒有強大的邏輯思考能力。 工作中有一個高效的邏輯思維能力無比重要。它能立刻讓你找到問題
2020-02-26 05:16:02
原创 cloudera manager下的hive權限配置
公司運營、BI以及財務不同部門不同人員需要hive數據查詢服務，所以需要分配不同的權限給相關人員 權限配置主要涉及兩項： - 認證(authentication)：驗證用戶所用的身份是否是對的 - 授權(authorization)：驗證
2020-02-26 05:16:02
原创 Hive 權限控制
Hive 權限控制 字數1135 閱讀551 評論0 喜歡0 說明 認證(authentication)：驗證用戶所用的身份是否是對的授權(authorization)：驗證用戶所用身份操作是否有權限 目前hive（版本0.12.0
2020-02-26 05:16:02
1
原创 Spark Streaming createDirectStream保存kafka offset(JAVA實現)
問題描述（http://blog.csdn.net/xueba207/article/details/50381821） 最近使用spark streaming處理kafka的數據，業務數據量比較大，就使用了kafkaUtils的
2020-02-26 05:16:02
原创 淺談工作流調度系統
每個公司都有自己的一套或者多套調度系統，從簡單到複雜，滿足各種定製化的需求。 Crontab任務調度 在沒有工作流調度系統之前，公司裏面的任務都是通過crontab來定義的，時間長了後會發現很多問題： 大量的crontab任務需要管理
2020-02-26 05:16:02
2
原创 遷移Cloudera Manager Server
參考 Moving the Cloudera Manager Server to a New Host Database Backing up and Restore 根據官方的參考文檔，如果在另外一個節點上新建一個供Cloud
2020-02-26 05:16:02
2