原创 Spark trouble shooting
yarn-client模式下導致的網卡流量激增 yarn-client模式下，會產生什麼樣的問題呢？ 由於咱們的driver是啓動在本地機器的，而且driver是全權負責所有的任務的調度的， 也就是說要跟yarn集羣上運行的多個
2020-07-06 17:28:16
原创 hive優化(一)
要點： 優化時，把 hive sql 當做 map reduce 程序來讀，會有意想不到的驚喜。 理解 hadoop 的核心能力，是 hive 優化的根本。 長期觀察 hadoop 處理數據的過程，有幾個顯著的特徵: 1.不怕
2020-07-06 16:51:18
原创 國內常用NTP服務器地址及IP（阿里雲時間服務器）
命令 ntpdate -s ntp1.aliyun.com 下面的好多都失效了，向阿里看齊這幾個應該都是好使的，更新一下 ntp1.aliyun.com ntp2.aliyun.com ntp3.aliyun.com ntp4.
2020-07-06 16:51:07
2
原创 hive優化（二）
問題 6：使用 map join 解決數據傾斜的常景下小表關聯大表的問題，但如果小表很大， 怎麼解決。這個使用的頻率非常高，但如果小表很大，大到 map join 會出現 bug 或異常， 這時就需要特別的處理。以下例子： S
2020-07-06 16:51:07
原创 加密數字幣交易平臺API
幣安 API： https://github.com/binance-exchange/binance-official-api-docs/blob/master/web-socket-streams.md 火幣網 API： ht
2020-07-06 16:51:07
原创 Spark性能優化
spark的優化 就是爲spark分配更多的資源 讓集羣更好的運行,下分爲以下兩種,資源優化與代碼優化 資源優化 集羣層面優化 a.搭建Spark集羣的時候,分配給Spark集羣更多的資源,調整spark-env.sh配置 SP
2020-02-26 03:24:31
原创 java grpc threadlocal使用
背景：在項目全文環境中獲取公共數據例如當前用戶的id等。需要再grpc攔截器中獲取headers的信息然後設置到上下文對象Context中常量中定義需要公佈的祕鑰信息：publicclassGrpcCon
2019-04-26 02:24:42
1
原创 linux centos 升級python2.6到3.6
linux centos 升級python2.6到3.6 缺少SSL不能用pip pip安裝 pip源更新爲阿里的
2019-04-12 11:19:50
原创 nginx1.15.2 安裝，代理http2配置
gcc 安裝 yum install gcc-c++ -y PCRE pcre-devel 安裝 yum install -y pcre pcre-devel -y zlib 安裝 yum install -y zlib zlib-
2019-04-12 11:19:50
原创 虛擬機linux安裝 設置靜態IP 聯網
1.鏡像下載 （沒有可以下，有的用自己的這都無所謂） 鏈接：https://pan.baidu.com/s/12KqiNzpdORUeMScnE4wPNQ 提取碼：l9a7 2.vmware 或者 virtualbox都可以 3.安裝
2019-04-11 10:57:55
原创 python dataframe操作
行列互換 b = df.stack() a = b.unstack(0) 索引重置 索引轉換爲字符串類型 df.index = [str(i) for i in df.index]
2019-02-27 14:59:40
1
原创 java類到proto定義轉換工具
使用情景，開發時，mybatis可以generator生成對應的實體類，可是實體類到proto定義還是需要自己實現，寫一個轉換工具便於開發，需要輸出到文件請自行拓展 ，默認 生成的proto文件定義加Grpc前綴，例如Student類
2019-01-10 14:53:09
1
原创 Cannot get a text value from a numeric cell “Poi”
本人是poi寫文件的時候出的這個錯誤，然後錯誤信息都在源碼中。 這個就需要自己跟源碼去看了。 圖片中可以看到，期望 1 實際爲 0 說明字符串判斷有問題。 然後 XSSFCELL 這個類中的 351行 位置可以看到當時
2018-09-05 05:41:56
原创 sparkstreaming直連kafka Java實現 自己管理offset
import java.util.Arrays; import java.util.HashMap; import java.util.HashSet; import java.util.Map; import org.apache.s
2018-09-05 05:41:55
原创 HBase性能優化方法總結（二）：寫表操作
轉自:http://www.cnblogs.com/panfeng412/archive/2012/03/08/hbase-performance-tuning-section2.html 2. 寫表操作 2.1 多 HTable 併發
2018-09-05 05:41:55