原创 opentsdb添加kerberos認證
1.編輯啓動腳本 cat start_tsdb.sh OPENTSDB_HOME=/data/opentsdb JVMARGS="${JVMARGS} -Djava.security.auth.login.config=${OPENTSD
2020-06-27 03:21:49
1
原创 自定義 Spark application 監聽器進行task異常處理 JAVA版
最近要截取sparkHistory裏面application的運行日誌，發現task級別的某些日誌拿不到，後來想了個辦法搞監聽器，然後一點點學習，將經驗記錄下來。 在spark程序中，task有失敗重試機制（根據 spark.task.m
2020-06-03 05:19:00
2
原创 實現PostgreSQL自啓動
在手動安裝（針對源碼編譯PG或者是解壓縮版安裝PG的情形）情況下，PG並不是在開機的情況下自動啓動，在關機的情況下自動停止，作爲DBA人員來說，顯然這樣的情形是無法接受的。1. windows下的服務自啓動在Windows下， 可以使用p
2020-02-22 14:21:06
3
原创 Spark性能優化指南——基礎篇
前言在大數據計算領域，Spark已經成爲了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算等各種不同類型的計算操作，應用範圍與前景非常廣泛。在美團•大衆點
2020-02-22 14:21:06
原创 SparkSQL編程指導
1. OverviewSpark SQL是spark提供的一個結構化數據處理模塊。Spark提供的SparkSQL接口主要是針對數據的結構化及其計算，並針對這些方面做了大量的優化處理。SparkSQL提供了兩種方式來讓我們操作結構化數據
2020-02-22 14:21:06
原创 Redis-sentinel哨兵模式集羣方案配置
最近研究了redis的集羣方案，第一個方案是創建 redis cluster，第二種方案就是用哨兵模式來進行主從替換以及故障恢復。一、sentinel介紹Redis Sentinel Sentinel(哨兵)是用於監控redis集羣中Ma
2020-02-22 14:20:56
原创 安裝RVM失敗： public key not found
錯誤是這樣的：[plain] view plain copy $ curl -L get.rvm.io | bash -s stable --ruby % Total % Received % Xferd Average S
2020-02-22 14:20:56
2
原创 MySQL和PostgreSQL 對比
一、MySQLMySQL 在所有大型數據庫服務器中最流行的一個. 它的特性豐富，產品的開源性質使得其驅動了線上大量的網站和應用程序. 要入手 MySQL 相對簡單，開發人員可以在互聯網上面訪問到大量有關這個數據庫的信息.注意: 由於這個產
2020-02-22 14:20:56
原创 OVER(PARTITION BY)函數介紹
問題場景 最近在項目中遇到了對每一個類型進行求和並且求該類型所佔的比例，當時考慮求出每種類型的和，並在java中分別對每一種類型的和與總和相除求出所佔比例。後來，想到這樣有點麻煩，並且項目中持久層使用的是iBatis框架，所有考慮從
2020-02-22 14:20:56
原创 spark RDD中foreachPartition和foreach說明
主題：RDD的foreachPartition/foreach的操作說明：這兩個action主要用於對每個partition中的iterator時行迭代的處理.通過用戶傳入的function對iterator進行內容的處理.一、forea
2020-02-22 14:20:56
原创 在Java中更好的調用Python
原文鏈接：https://www.cnblogs.com/nuccch/p/8435693.html 寫在前面 在微服務架構大行其道的今天，對於將程序進行嵌套調用的做法其實並不可取，甚至顯得
2019-12-04 02:28:32
2
原创 關於JedisCluster不支持Pipeline操作的解決方案
原文鏈接：https://blog.csdn.net/EndTheme_Xin/article/details/84623063 版權聲明：本文爲博主原創文章，遵循 CC 4.0 by-sa 版
2019-08-22 23:13:13
2
原创 opentsdb加kerberos認證
1.編輯啓動腳本 cat start_tsdb.sh OPENTSDB_HOME=/data/opentsdb JVMARGS="${JVMARGS} -Djava.security.auth.login.config=${OPENTSD
2019-07-03 00:20:52
2
原创 impala故障（cdh5.15.1版本）
今天碰到一個很奇怪的問題，impala查詢34億條數據報錯，不過多虧網上有神仙相助，少了一個插件，具體原因有待思考，，，問題是原創的，解決方案是大神提供的 [cdh004:21000] > select count(*) from imp
2019-02-14 19:18:03
2
原创 HIVE 動態分區的一個坑
HIVE 動態分區的一個坑 在hive sql中使用動態分區非常方便，也比較常用，但是在使用的過程中會帶來一些問題，比如：在一段sql語句中我需要指定兩個字段當做動態分區，一個字段的基數爲7，另一個爲4，這就是28個分區，我們的sql語句
2018-12-26 15:28:21
2