原创 Nacos、Apollo、Spring Cloud Config微服務配置中心對比
來源：Nacos 社區 爲什麼需要配置中心 配置實時生效： 傳統的靜態配置方式要想修改某個配置只能修改之後重新發布應用，要實現動態性，可以選擇使用數據庫，通過定時輪詢訪問數據庫來感知配置的變化。輪詢頻率低感知配置變化的延時就長，輪詢頻率
2020-06-25 23:04:16
原创 delete.topic.enable=true,然後通過kafka manager能刪除乾淨嗎?
delete.topic.enable=true ； auto.create.topics.enable=false ； 只有這兩個參數同時開啓，kafka-manager纔可以將某個topic刪除乾淨。 aut
2020-06-25 23:04:16
1
原创 Kafka consumer group位移0ffset重設
本文闡述如何使用Kafka自帶的kafka-consumer-groups.sh腳本隨意設置消費者組(consumer group)的位移。需要特別強調的是， 這是0.11.0.0版本提供的新功能且只適用於新版本consu
2020-06-25 23:04:16
2
原创 Hive操作指南
一. 建外部表 create external table test.test_external( id int comment '測試id' , name strin
2020-06-25 23:04:16
1
原创 FastDFS與Hdfs的區別
主要是定位和應用場合不一樣。 hadoop的文件系統HDFS主要解決並行計算中分佈式存儲數據的問題。其單個數據文件通常很大，採用了分塊（切分）存儲的方式； FastDFS主要用於大中網站，爲小文件上傳和下載提供在線服務。所以在負載均衡、動
2020-06-25 23:04:06
1
原创 大數據技術整理
目錄 一. Hadoop Hadoop Yarn MapReduce Hdfs CDH|Cloudera Manager 二. 數據分析 Hive Impala 三. 離線和實時數據處理 Flink Spark Storm Kaf
2020-06-08 13:53:30
原创 使用logback進行系統日誌記錄
pom包: springboot start 引入即可 <dependency> <groupId>org.springframework.boot</groupId> <artifact
2020-06-08 13:53:30
原创 Go - Micro微服務框架實踐 - 常見問題
目錄 什麼是 Micro ？ Micro是開源的 社區 生態系統 該從何入手 micro有哪些使用者 如何才能使用micro 除了Consul，可以使用其它的註冊中心嗎 Etcd 零依賴 Micro可以在哪些環境運行 API、Web、
2020-06-08 13:53:30
原创 Api接口訪問系統日誌記錄
pom包: <properties> <project.build.sourceEncoding>utf-8</project.build.sourceEncoding> <spring.version>4.3.8.REL
2020-06-08 13:53:30
原创 從生日請客到HDFS工作原理解析
來自：互聯網偵察 小史是一個非科班的程序員，雖然學的是電子專業，但是通過自己的努力成功通過了面試，現在要開始迎接新生活了。 對小史面試情況感興趣的同學可以觀看面試現場系列。 今天是小史生日，爲了慶祝自己今年喜提A廠of
2020-04-19 00:01:59
原创 大數據和新零售
新零售，就是以消費者體驗爲中心的數據驅動的泛零售形態，依託大數據技術，使得零售商獲得大量用戶的精準數據，驅動“人”、“貨”、“場”三者關係的重構。在《讓人、貨、場重構的新零售是什麼？》這篇文章中，我們已經簡單的給大
2020-04-12 22:10:48
原创 kafka中partition和消費者對應關係
1個partition只能被同組的一個consumer消費，同組的consumer則起到均衡效果 消費者多於partition topic： test 只有一個partition 創建一個topic——test， bin/kafka
2020-03-18 13:52:56
原创 sqoop導入mysql數據到Hive的各種方案
sqoop導入mysql數據到Hive的各種方案 sqoop 從mysql 導入數據到 hive 詳細教程
2020-03-10 11:17:38
原创 讀取Maven項目resource下文件方式(兼容純Java運行和Maven打包運行)
比如: src/main/resources 下有一個1.xml文件，完整路徑src/main/resources/config/1.xml URL url = MemberTask.class.getClassLoader().
2020-02-22 03:03:37
原创 Spring Boot Starters 原理與實踐
Spring Boot Starters Spring Boot Starter是在SpringBoot組件中被提出來的一種概念，stackoverflow上面已經有人概括了這個starter是什麼東西，想看完整的回答戳這裏 Sta
2019-06-26 00:32:05