原创 mysql百萬數據插入腳本

在公司測試中難免使用幾百萬條數據測試,這就需要向自己的數據庫中短時間插入百萬數據,在這就有腳本可以現成使用,本案例用的是員工和部門的關係,可以舉一反三。 1、建表 # 新建庫 create database bigData; use b

原创 Mysql之索引失效

【優化口訣】  全值匹配我最愛,最左前綴要遵守;  帶頭大哥不能死,中間兄弟不能斷;  索引列上少計算,範圍之後全失效;  LIKE百分寫最右,覆蓋索引不寫*;  不等空值還有OR,索引影響要注意;  VAR引號不可丟, SQL優化有訣竅

原创 Linux大數據重要命令

真正的大數據工程師,linux命令是橫着寫很長,不是一句一句執行的,尤其是大數據工程師需要檢測cpu,內存,網絡IO等各種開銷,就需要掌握各種命令,命令主要分爲這幾種,一是查看各種進程的相關信息,其中包括cpu或者內存等從高到底,或者是前

原创 Lock8鎖

前言: Lock     替代了      synchronized Condition  替代了   Object中的wait 和notify 方法 爲什麼Lock會替代synchroized?   synchronized的侷限性 佔

原创 電信客服項目之Consumer工程

先用kafka消費者API接受數據,然後在用hbase的api寫入hbase,需要創建一個maven工程, 一、創建工程如下: 1、constant包:主要存放常用的常量比如:hbase的配置文件 public static fi

原创 Lombok的安裝和使用

Lombok使用 介紹 在項目中使用Lombok可以減少很多重複代碼的書寫。比如說getter/setter/toString等方法的編寫。 主要是他可以動態的生成get,set等等方法,在企業中是非常實用的,修改屬性時,不用在去修改ge

原创 mysql之事務

  事務就是一組原子性的SQL查詢,或者說一個獨立的工作單元。如果數據庫引擎能夠成功地對數據應用該組查詢的全部語句,那麼久執行該組查詢。如果其中任何一條語句因爲崩潰或其他原因無法執行,那麼所有語句都不會執行。事務的概念簡單的說就是,事務內

原创 Hbase之協處理器

官方介紹https://blogs.apache.org/hbase/entry/coprocessor_introduction 使用它一定要慎重,一旦協處理器出問題,則hbase將起不來,不過也有配置進行修復,修復配置見最後 協處理器

原创 JUC之線程搶佔資源

創建線程重要!!! 1、怎麼做多線程題?口訣:線程 操作  資源類 ,高內聚低耦合(指的是操作) 不管會不會,先創建資源類,在資源類裏封裝對資源的操作,然後在創建多個線程,在操作這個資源類 2、多線程操作時候,就會產生線程安全問題,比如,

原创 JDK源碼學習01--------源碼包結構

最近在學習JDk源碼,借鑑別人,自己就總結了一下就先從包結構說起吧,以JDK8爲例包含:resources.jar、rt.jar、jsse.jar、jce.jar、charsets.jar、jfr.jar、access-bridge.ja

原创 JUC之線程通知

上一次說道,線程操作記住:線程  操作  資源類,高內聚低耦合,這是上 下(wait和notify)口訣: 判斷/幹活/通知   ,虛假喚醒 一、案例 1(兩個線程)  現在兩個線程,可以操作初始值爲零的一個變量,實現一個線程對該變量加1

原创 Hive窗口函數Over和排序函數Rank

- 目錄 1、聚合函數+over 2、partition by子句 3、order by子句 4、★window子句(裏面包含) - PRECEDING:往前 - FOLLOWING:往後 - CURRENT R

原创 電信客服項目之分區鍵和rowkey設計

一、分區鍵設計 分區是解決數據傾斜的有效有段,分區比較簡單, 關鍵在於需要分多少區,比如本項目分六個區形式爲               00| 00|         01| 01|         02| 02|          0

原创 Kafka的消費者API

kafka官方文檔API http://kafka.apache.org/090/javadoc/index.html?org/apache/kafka/clients/consumer/KafkaConsumer.html 一、高級AP

原创 Kafka的生產者API(新)

主要是創建和設置KafkaProducer這個對象,分爲兩種:一個是帶回調函數的,一個是不帶的 1、創建生產者 這個是不帶回調函數,其中像端口號等配置項都封裝在了ProducerConfig這個類裏,也可以使用  ProducerCon