原创 kafka深度研究之路(4)-kafka和zk 配置文件詳細說明（來龍去脈）之kafka配置
2/kafka配置文件參數詳解 默認必須配置的參數 默認 kafka server.properties 配置如下： ############################# Server Basics ##############
2019-09-15 13:11:24
原创 kafka深度研究之路(4)-kafka和zookeeper 配置文件詳細說明（來龍去脈）之zk配置
目錄1/Zookeeper配置文件詳解2/kafka配置文件參數詳解3/生產環境 zk 與 kafka 配置文件備註4/kafka命令詳解 1/安裝完zookeeper 對其配置文件詳解 zookeeper-3.4.14.tar.gz在
2019-09-15 13:11:23
6
原创 kafka深度研究之路(3)-kafka 與zk 集羣啓停腳本
編寫 kafka集羣 啓動 和 停止腳本 [hadoop@kafka01-55-11 scripts]$ cat kafka_cluster_stop.sh #!/bin/bash -x #date 20190801 #autnor maj
2019-09-15 13:11:23
原创 kafka深入研究之路(1)-剖析各原理02
kafka深入研究之路(1)-剖析各原理02 接着上一文的內容 繼續升入研究 topic如何創建於刪除的 topic的創建 具體流程文字爲： 1、 controller 在 ZooKeeper 的 /brokers/topics 節點上註冊
2019-08-29 13:11:18
2
原创 kafka深入研究之路(1)-剖析各原理01
kafka深入研究之路(1)-剖析各原理01 引言：來到了新公司，需要對kafka組件有很深的研究，本人之前對老版的kafka有過一定的研究，但是談不上深入，新公司力推kafka，比較kafka作爲消息系統在目前的市場上的佔有率還是很高的，
2019-08-29 13:11:06
2
原创 Linux性能測試工具（cpu mem disk）---sysbench
date 20190802推薦博客爲：Linux性能測試工具有什麼好用的工具，這裏推薦一款https://www.toutiao.com/i6716251759519465995/
2019-08-04 13:09:35
1
原创 kafka基礎概念(組件名稱作用）
寫介紹kafka的幾個重要概念（可以參考之前的博文Kafka的簡單介紹）： Broker：消息中間件處理結點，一個Kafka節點就是一個broker，多個broker可以組成一個Kafka集羣； Topic：一類消息，例如page view
2019-06-20 13:10:55
2
原创 supervisor如何做到接管redis mongodb
supervisor簡介：linux後臺進程運行有好幾個狀態，例如nohup 但是，如果是一個服務程序，要可靠在後臺運行，我們就需要把他做成deamon 最好還要監控進程狀態，在意外結束時，能自動重啓。supervisor就是用pathon
2019-06-14 13:08:05
原创 如何去計算hdfs中namenode中所需的堆內存大小
請參考 上一個 鏈接地址：hdfs爲什麼不擅長存儲大量小文件https://blog.51cto.com/12445535/2354951 概述：namenode replication（複製）複製 默認塊複製因子（dfs.replicat
2019-06-13 13:08:02
3
原创 在cdh中如何管理zookeeper並查看zk狀態的命令總結
注意：如果未初始化數據目錄，則無法啓動ZooKeeper服務器。//在生產環境中，您應該將ZooKeeper部署爲具有奇數個服務器的集合。只要集合中的大多數服務器可用，ZooKeeper服務就可用。建議的最小集合大小是三個ZooKeeper
2019-06-12 13:54:37
原创 mongodb權限管理02
mongodb權限管理02 接下來，mongodb 的配置文件中如何實現密碼的登錄呢？我們之前是直接用的這個命令[root@prd3-mysql-0-36 ~]# mongod -f /ivargo/app/mongodb/conf/mon
2019-06-07 13:08:20
1
原创 mongodb權限管理01
mongodb權限管理基礎概念概念解釋1.數據庫用戶角色read:該角色擁有數據的只讀權限，系統集合以及system.indexes,system.js,system.namespaces集合除外。readWrite:該角色擁有對應數據庫的
2019-06-07 13:08:20
原创 cdh看完官方文檔後小結002
1、Cloudera Manager包含內部機架感知腳本，但您必須指定羣集中主機所在的機架。如果您的羣集包含10個以上的主機，Cloudera建議您爲每個主機指定機架。 HDFS，MapReduce和YARN將自動使用您指定的機架。http
2019-05-24 13:08:07
原创 mysql權限管理
2019/5/20 星期一 //這是mysql的權限問題 具體的詳情見 第三章 《mysql用戶及賦予用戶權限grant》現在有一個需求，就是指定一個用戶對一個數據庫中的所有表只有只讀權限mysql用戶及賦予用戶權限grant我們在我們
2019-05-20 13:53:58
原创 linux環境下搭建W12Scan：一款功能強大的網絡安全資產掃描引擎
半夜接到領導的郵件，說研究一下w12scan，對此毫無感念的我，廢話不多說，google 百度用起來，下面爲搭建全過程。至於w12scan到底幹什麼用的，我後面會單獨的博客來介紹 ，先搭建起來 再說。 第一步：準備服務器，centos7.6
2019-05-15 13:09:14
2