原创 Hadoop任務操作命令
HADOOP 上經常會對一個application進行一系列操作： 操作命令如下： yarn application -list 查看yarn上面所有的application yarn application -list
2020-07-04 12:14:51
2
原创 Hadoop運行過程中錯誤解決
錯誤信息：Container [pid=64555,containerID=container_1563447435119_3196879_01_000107] is running beyond physical memory
2020-07-04 12:14:51
原创 解決clickhouse裸奔問題
上次安裝完成以後，遺漏了3個問題 1、查看集羣信息爲什麼會出現這麼多test的集羣 2、用戶鑑權問題 3、如何放開連接的IP地址 問題1： 查看集羣信息爲什麼會出現這麼多test的集羣。 只需要將/etc/clickhouse-s
2020-07-04 12:14:51
10
原创 理解Linux調優參數
1、處理器參數 CPU utilization： 直觀地描述了每個CPU的利用率，在Xseries架構中如果CPU的利用率長時間超過80%，就有可能出現處理器的瓶頸 Runable processes ： 描述了正在準備被執行的進
2020-07-04 12:14:51
原创 NameNode和DataNode之間的交互
簡介 HDFS的設計核心是提高處理數據的吞吐量而不是低延遲，因此更適合數據的批處理，而非交互式處理，HDFS弱化了一些POSIX語義以獲求吞吐量提升。HDFS對存儲在其上的數據使用了一次寫入多次讀取的文件控制模型，一旦一個文件被寫
2020-07-04 12:14:51
2
原创 linux隨機數據
1、Linux uuid uuid 全稱是通用唯一識別碼，格式包含32個16進制數字，以’-'連接號分爲5段。形式爲8-4-4-4-12 的32個字符 cat /proc/sys/kernel/random/uuid [ro
2020-07-04 12:14:41
1
原创 clickhouse數據類型
1、數據類型 ClickHouse 可以在數據表中存儲多種數據類型。 1、UInt8, UInt16, UInt32, UInt64, Int8, Int16, Int32, Int64 固定長度的整型，包括有符號整型或無符號整型
2020-07-04 12:14:41
1
原创 NodeManager專區-節點健康狀況監測
節點健康監測是NodeManager自帶的健康狀況診斷機制，通過該機制，NodeManager可時刻掌握自己的健康狀況,並及時彙報給ResourceManager。而ResourceManager則根據每個NodeManager的
2020-04-02 10:53:23
原创 NodeManager專區-NodeManager的基本特性和概述
概述 NodeManager是運行在單個節點上的代理，它需要與應用程序的ApplicationMaster和集羣的管理節點ResourceManager交互：從ApplicationMaster上接收有關的conta
2020-04-02 10:53:23
原创 clickhouse集羣部署
clickhouse 版本的安裝 版本：20.1.6.30-2 環境：CentOS release 6.5 **安裝指南: ** 1、分別在每臺集羣上面執行下面的命令安裝 sudo yum install yum-utils su
2020-03-11 23:01:35
1
原创 行式和列式存儲說明以及OLAP特點介紹
ClickHouse是一個用於聯機分析(OLAP)的列式數據庫管理系統(DBMS)。 在傳統的行式數據庫系統中，數據按如下順序存儲： Row WatchID JavaEnable Title GoodEvent EventT
2020-03-09 23:29:18
原创 再次認識clickhouse
clickhouse 版本的安裝 版本：20.1.6.30-2 環境：CentOS release 6.5 安裝指南: 1、分別執行下面幾步 sudo yum install yum-utils sudo rpm --import
2020-03-09 23:29:18
原创 Clickhouse的前世今生和優缺點
ClickHouse最初是爲 Yandex.Metrica 世界第二大Web分析平臺 而開發的。多年來一直作爲該系統的核心組件被該系統持續使用着。目前爲止，該系統在ClickHouse中有超過13萬億條記錄，並且每天超過200多億
2020-03-09 23:29:18
2
原创 HBase中wal文件過多導致Zookeeper異常問題
最近hbase出現了大量KeeperErrorCode = ConnectionLoss for /hbase/splitWAL 異常，而且在重啓hbase的時候，沒有辦法啓動hbase，經過仔細診斷之後發現是由於hbase的WA
2020-02-25 20:28:43
16
原创 Python中socket遇到的幾個問題
今天在進行一些簡單的socket編程的時候，遇到了幾個問題 1、AttributeError: module ‘socket’ has no attribute ‘AF_INET’ 上面是socket編程的時候腳本名字就是sock
2019-06-24 09:47:18