原创 Flume原理深度解析

一、Flume簡介   flume 作爲 cloudera 開發的實時日誌收集系統,受到了業界的認可與廣泛應用。Flume 初始的發行版本目前被統稱爲 Flume OG(original generation),屬於 cloudera。

原创 CDH: 請求 Service Monitor 超時。這可能會導致頁面響應緩慢

您正在非生產模式下運行 Cloudera Manager,該模式使用嵌入式 PostgreSQL 數據庫. 請求 Service Monitor 超時。這可能會導致頁面響應緩慢   是因爲jvm內存給的少了, 所有 Monitor 當掉了

原创 深度|企業如何去做數據標準建設和應用

大數據時代下,隨着數據應用和分析挖掘的逐步深入,由於數據標準不統一造成的數據使用問題越來越多。特別是對於企業而言,如果沒有進行數據標準體系的建設,不同人員對於數據的理解很難達到完全一致,導致工作中經常出現數據統計口徑偏差,系統開發與實際需

原创 安裝RedHat Linux 7.4

安裝RedHat Linux 7.4 創建新的虛擬機 選擇“自定義(高級)” 選擇“下一步”           選擇“稍後安裝操作系統”   選擇操作系統的類型   設置虛擬機名稱和保存路徑         下一步 下一步

原创 CentOS掛載硬盤

提醒:掛載操作會清空數據,請確認掛載盤無數據或者未使用 第一步:列出所有磁盤  命令:  ll /dev/disk/by-path    或者使用: fdisk -l 提示:如果無法確認數據盤設備名稱,請使用df命令來確認系統盤的名稱,從

原创 (idea scala) Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException

Error:scalac: Error: org.jetbrains.jps.incremental.scala.remote.ServerException Error compiling sbt component 'compiler

原创 IDEA快捷鍵功能說明及Eclipse對應操作

原文鏈接:https://www.cnblogs.com/yft-javaNotes/p/10328259.html 1.Ctrl+z是撤銷快捷鍵 2.如果想恢復Ctrl+z 掉的內容,按快捷鍵

原创 HBase表的基本結構和常用命令行操作mark下

原文鏈接:https://www.cnblogs.com/HelloBigTable/p/10504082.html 一、HBase表的基本結構   1.概述:    平時常見的MySQL、Or

原创 分享30道Redis面試題,面試官能問到的我都找到了

============================================================================ 轉自:https://www.cnblogs.com/lfs2640666960/p

原创 JAVA架構師面試題

基礎題目 Java線程的狀態 進程和線程的區別,進程間如何通訊,線程間如何通訊 HashMap的數據結構是什麼?如何實現的。和HashTable,ConcurrentHashMap的區別 Cookie和Session的區別

原创 Spark常見問題彙總

原文地址:https://my.oschina.net/tearsky/blog/629201 摘要:   1、Operation category READ is not supported in state standby   2、配

原创 高併發解決方案

一、什麼是高併發 高併發(High Concurrency)是互聯網分佈式系統架構設計中必須考慮的因素之一,它通常是指,通過設計保證系統能夠同時並行處理很多請求。高併發相關常用的一些指標有響應時間(Response Time),吞吐量(T

原创 Hadoop關於處理大量小文件的問題和解決方法

小文件指的是那些size比HDFS的block size(默認64M)小的多的文件。如果在HDFS中存儲小文件,那麼在HDFS中肯定會含有許許多多這樣的小文件(不然就不會用Hadoop了)。而HDFS的問題在於無法很有效的處理大量小文件。

原创 數據中臺你想知道的都在這裏!

    導讀,文章萬字左右,重點內容導讀如下: 數據中臺是什麼? 數據中臺和數據倉庫,數據平臺的關係是什麼? 數據中臺和業務中臺的區別是什麼? 數據中臺建設的最大挑戰是什麼? 數據中臺的數據質量應該如何保障? 數據中

原创 OLTP和OLAP有何區別

OLTP和OLAP主要區別有: 1、基本含義不同:OLTP是傳統的關係型數據庫的主要應用,主要是基本的、日常的事務處理,記錄即時的增、刪、改、查,比如在銀行存取一筆款,就是一個事務交易。OLAP即聯機分析處理,是數據倉庫的核心部心,支持複