原创 sqoop安裝和命令介紹
一,sqoop介紹 1.1 sqoop簡介 Sqoop是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql…)間進行數據的傳遞，可以將一個關係型數據庫（例如 ： MySQL ,Ora
2020-07-06 19:25:27
6
原创 卸載虛擬網卡命令
卸載虛擬網卡命令： yum install -y libguestfs-tools yum install -y virt-install virsh net-list virsh net-destroy default virs
2020-07-06 19:25:27
原创 hbase刪除標記和注意事項
hbase刪除有三種標記 Delete標記: 刪除特定列列指定的版本 DeleteFamily標記: 刪除特定列族所有列 DeleteColumn標記: 刪除特定列的所有版本 指定rowkey: 使用DeleteFamily標
2020-07-06 19:25:27
1
原创 Git的實戰操練---分支branch
1.背景介紹 系統上線了，但是產品經理又提了新的需求，評估一下工期要兩個月，但是同時系統正在上線運行，時不時還要修改bug，如何管理幾個版本？ 2.相關命令 創建分支 git branch <分支名> 查看分支 git b
2020-07-06 19:25:27
原创 PostgreSQL語法
PostgreSQL 語法 更多內容可以參考手冊中的 SQL 語法：http://www.runoob.com/manual/PostgreSQL/sql-syntax.html。 https://www.cnblogs.com
2020-07-06 19:25:25
2
原创 hadoop,hbase,hive,spark遇到無權限問題Permission denied: user=root, access=WRITE解決
在hadoop,hbase,hive,spark執行某些命令時,可能遇到以下問題 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:
2020-07-06 19:25:25
1
原创 kafka核心概念和角色
文章目錄1.概述2.Producer3.Consumer4.Consumer Group5.Broker6.Topic7.Partition8.Offset9.持久化10.Replica副本機制11.zookeeper 1.概述
2020-07-06 19:25:25
1
原创 Kafka消費者組三種分區分配策略roundrobin，range，StickyAssignor
一個consumer group中有多個consumer，一個 topic有多個partition，所以必然會涉及到partition的分配問題，即確定那個partition由哪個consumer來消費。 Kafka有兩種分配策略
2020-07-06 19:25:25
原创 git簡介和安裝
一,git的簡介 Git是目前世界上最先進的分佈式版本控制系統。 版本管理系統能幹什麼 集中管理型版本管理 經典的集中管理型（CVS、VSS、SVN） 特點： 實現了大部分開發中對版本管理的需求 結構簡單，上手容易。
2020-07-06 19:25:25
原创 Kafka數據可靠性保證-ack,ISR,HW
文章目錄1.副本數據同步策略2.ISR,AR3.ack應答機制4. HW,LEO,LSO,LW名詞解釋5.故障處理細節1.follower故障2.leader故障6.ISR 集合和 HW、LEO的關係 爲保證producer發送的
2020-07-06 19:25:25
原创 Kafka入門之命令行操作
1.創建topic [root@node01 kafka]$ bin/kafka-topics.sh --zookeeper node01:2181,node02:2181,node03:2181 --create --repli
2020-07-06 19:25:25
原创 kafka消費者API之自定義存儲offset 到mysql中
pom文件 <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>k
2020-07-06 19:25:25
原创 linux下實現mysql數據庫定時備份
https://www.cnblogs.com/taomylife/p/8022104.html https://www.cnblogs.com/huxiaoguang/p/10847401.html https://blog.
2020-07-06 19:25:25
原创 Scala之for循環
java中的for循環 for (int j = 0; j <10 ; j++) { //循環體 } for (String s: strings){ //循環體 } scala中for循環 1.使用 1 to
2020-07-06 19:25:25
1
原创 【NiFi系列】1-基本介紹
1.1 背景介紹 2006年NiFi由美國國家安全局（NSA）的Joe Witt創建。2015年7月20日，Apache 基金會宣佈Apache NiFi順利孵化成爲Apache的頂級項目之一。NiFi初始的項目名稱是Niagar
2020-07-06 19:25:25
32