原创 Hive中數據導入與導出
1 數據導入 1.1 向表中裝載數據（Load） 1．語法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] | into table s
2020-07-06 01:32:21
原创 Hive基本概念及運行原理
一、hive的簡介 Hive最早是由Facebook開源用於解決海量結構化日誌的數據統計，後貢獻給開源社區，成爲Apache頂級開源項目。它是基於Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射爲一張表，並提供類SQL查詢功能，
2020-07-02 10:05:07
原创 Hive DDL常見操作
一、數據庫操作 1.1、創建數據庫 1）創建一個數據庫，在HDFS上的默認存儲路徑是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2）避免要創建
2020-07-02 08:43:59
原创 Java集合List按日期升序或降序四種方法
總結Java集合List按日期升序或降序常見的四種方法如下 四種方法快速預覽 Method 1、不管是Date、String、Long類型的日期都可以排序，無需轉換 orders.sort((t1, t2) -> t2.ge
2020-06-25 15:00:47
1
原创 Kafka的Rebalance機制可能造成的影響及解決方案
一、kafka的rebalance機制 在Kafka中，當有新消費者加入或者訂閱的Topic數發生變化時，會觸發Rebalance(再均衡：在同一個消費者組當中，分區的所有權從一個消費者轉移到另外一個消費者)機制，Rebalance顧名思
2020-06-25 15:00:47
1
原创 Java基於rocketmq的訂單生產與消費場景示例
一、依賴配置 1、maven pom.xml引入依賴 <properties> <rocketmq-client.version>4.5.2</rocketmq-client.version> </properties>
2020-06-25 15:00:46
原创 Apache Flink的特點與優勢
一、Flink簡介 1.1、Flink的定義 Apache Flink 是一個框架和分佈式處理引擎，用於在無邊界和有邊界數據流上進行有狀態的計算。Flink 能在所有常見集羣環境中運行，並能以內存速度和任意規模進行計算。 1.2、Flin
2020-06-25 15:00:46
原创 kafka如何保證數據的消息不丟失(最簡潔)
一、kafka 本身配置層面 1.1、replication.factor 默認值1 創建kafka的topic時候，每個分區設置的副本數， 根據broker數量酌情設置， 建議業界通常做法設置爲3 1.2、min.insync.re
2020-06-25 15:00:46
原创 記一次mysql的index_merge引起的死鎖問題的分析
mysql多個普通索引下，在upate操作時候index_merge引起的死鎖，導致問題直接原因，不知道day_time被加了索引，導致SQL語句運用不當，間接原因，mysql的索引優化index_merge，根本原因對mysq
2020-06-25 15:00:46
原创 由 synchronized鎖優化聯想到用戶態與內核態區別
我們知道synchronized的鎖優化過程，從無狀態-偏向鎖-輕量級鎖-重量級鎖。優化點就是在多線程鎖競爭時候避免線程過早地由用戶態到內核態的轉換，避免線程間頻繁低在用戶態和內核態間的切換，減少因CPU切換而中斷耗費的時間。那爲什麼重
2020-06-25 15:00:46
1
原创 canal基於MySQL binlog 增量訂閱&消費介紹與使用
一、canal的介紹 canal [kə'næl]，譯意爲水道/管道/溝渠，主要用途是基於 MySQL 數據庫增量日誌解析，提供增量數據訂閱和消費 早期阿里巴巴因爲杭州和美國雙機房部署，存在跨機房同步的業務需求，實現方式主要是基於業務 t
2020-06-25 15:00:46
原创 Mybatis的#{}佔位符與${}字符串替換的區別
1、#{}是預編譯處理，$ {}是字符串替換 （1）#{} 表示一個佔位符，採用preparedStatement給佔位符設置值，自動進行java類型和jdbc類型轉換，進行預編譯處理，#{}可以有效防止sql注入（預編譯是提前對SQL語
2020-06-25 15:00:46
1
原创 kafka角色模型與核心概念
kafka主要有三大作用，其中消息系統和流式處理是我們最常用的 消息系統：kafka作爲消息中間件，具有MQ的系統解耦、流量削峯、緩衝、異步通信等特性 存儲系統：kafka與其他消息系統不同的是，它能夠把消息持久化到磁盤，有效的降低了消息
2020-06-09 16:18:45
原创 斷路器Hystrix實現服務容錯
一、服務容錯 1、服務存在的問題 微服務架構中，生產過程中我們或多或少的會遇到一些問題。如果服務提供者對服務消費者的響應非常的緩慢，那麼服務消費對服務提供者的請求就會被迫等待，直到提供者響應或者超時。特別是在高併發的場景中，如果不做任何處
2020-06-09 16:18:45
原创 Yarn-NodeManager堆內存不足導致Container被殺
一、問題再現 由於項目需要，採購電信天翼雲，由於是新搭建的集羣，在yarn上跑Spark任務時，每個幾個小時或者半天出現節點丟失（Lost Nodes），訪問http://cloudera01:8088，如下圖，可以看到2個節點和集羣失去
2020-06-04 00:14:31
1