原创 CDH部署客戶端報錯deploy client configuration fail
環境： CDH-5.14.2-1.cdh5.14.2.p0.3 問題描述： 添加Hive服務時，部署hdfs,yarn,hbase,kafka,spark2,hive的client配置時報錯如下。 解決方案： 首先解決第一個問題 JA
2020-07-02 23:43:23
原创 記一次線上Kafka CommitFailedException
CommitFailedException，顧名思義就是Consumer客戶端在提交位移時出現錯誤或異常，還是那種不可恢復的嚴重異常。 報錯： Caused by: org.apache.kafka.clients.consume
2020-07-02 22:44:39
原创 併發編程之同步工具
同步工具類可以是任何一個對象,只要能夠根據其自身的狀態來協調線程的控制流就行,阻塞隊列就可以作爲同步工具類，java平臺類庫中還包含其他一些同步工具類,不過這裏主要分享CountDownLatch、CyclicBarrier、Se
2020-07-02 22:44:39
原创 Scala數組和元組
數組 scala中數組的概念是和Java類似，可以用數組來存放一組數據 scala中，有兩種數組，一種是定長數組，另一種是變長數組 1 定長數組 定長數組指的是數組的長度是不允許改變的 數組的元素是可以改變的 語法
2020-07-02 22:44:39
原创 LeshanServer啓動過程
啓動過程時序圖： 啓動可配命令行參數： -h help 幫助信息 -lh coaphost 本地coap地址，默認任何本地地址 -lp coapport 本地coap端口，默認5683 -slh coaps
2020-07-02 22:44:39
12
原创 Spark RDD操作之鍵值轉換
partitionBy def partitionBy(partitioner: Partitioner): RDD[(K, V)] 該函數根據partitioner函數生成新的ShuffleRDD，將原RDD重新分區。 sca
2020-07-02 22:44:39
原创 Spark RDD操作之Action操作
first def first(): T first返回RDD中的第一個元素，不排序。 scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2) r
2020-07-02 22:44:39
原创 hive beeline連接User: root is not allowed to impersonate anonymous
分析 ： 訪問權限問題 解決 ：在hadoop的conf目錄下的配置文件core-site.xml中加入如下配置 <property> <name>hadoop.proxyuser.root.hosts</name> <v
2020-07-02 22:44:39
原创 設計原則之裏式替換原則
這是一篇專欄學習總結 裏式替換原則，Liskov Substitution Principle，LSP。最早是在1986年由Barbara Liskov 提出。 裏式替換原則定義 子類對象能夠替換程序中父類對象出現的任何地方，並且
2020-07-02 22:44:28
原创 記一次JVM時區引發的問題
問題描述： 有個業務需求，統計某個時間點之前數據庫中的數據，不傳時間的話就統計所有，接口寫完之後做了兩個測試，分別是不傳時間和傳當天晚上23:00的時間，當天晚上23：00屬於未來時間，兩次統計的記錄數應該是一樣的纔對，可事實是兩
2020-05-26 02:32:37
原创 設計原則之迪米特原則
迪米特原則 Law of Demeter, LOD 迪米特原則定義 迪米特原則也叫最小知識原則（The Least Knowledge Principle）。即，每個模塊只應該瞭解那些與它關係密切的模塊的有限知識，或者說，每個模塊
2020-05-18 00:35:48
原创 代碼質量管理平臺SonarQube安裝與使用
環境 系統： jdk: mysql: 下載安裝sonar 因爲系統安裝的jdk是1.8，所以選擇一個支持1.8的sonar版本。 wget https://binaries.sonarsource.com/Distribut
2020-05-10 14:08:11
原创 ES幾種搜索方式
1、query string search方式的條件查詢： 搜索商品名稱中包含yagao的商品，而且按照售價降序排序： GET /ecommerce/product/_search?q=name:yagao&sort=price:
2020-05-02 12:43:47
原创 設計原則之依賴倒轉原則
之前已經總結過單一職責原則、開閉原則、里氏替換原則和接口隔離原則，這四個原則和這篇的依賴倒轉原則合稱SOLID原則。 依賴倒轉原則 Dependency Inversion Principle，DIP 依賴倒轉原則定義 High-
2020-04-27 19:56:44
原创 Hive安裝啓動填坑
Hive下載 hive下載地址：http://mirror.bit.edu.cn/apache/hive/ 解壓到/usr/local：tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/
2020-04-21 04:05:33