原创 Hadoop權威指南 ---下載氣象數據並自動解壓整合
https://blog.csdn.net/leibniz_zhang/article/details/80590117 https://blog.csdn.net/weixin_40645816/article/details/82
2019-05-07 01:29:56
原创 shell - 字符串切分成數組
shell字符串切分 #!/bin/bash str="hello,world"; //與/之間與分割的字符 ，另外/後有一個空格不可省略 str=${str//,/ }; arr=($str); #遍歷數組 for element
2019-04-18 17:57:40
原创 大數據環境搭建
大數據環境搭建配置SSH權限問題 配置SSH 1、修改主機名（所有主機） # hostnamectl set-hostname xxx /etc/hosts 172.16.2.106 slave106 172.16.2.107 ma
2019-03-29 17:51:58
原创 java - jvm
JVM SUN官方站點介紹JVM Options http://www.oracle.com/technetwork/java/javase/tech/vmoptions-jsp-140102.html#G1Options 可以用下面
2019-03-22 17:53:08
原创 spark — 集羣errors
hadoop errorsnamenode一直處於安全模式 namenode一直處於安全模式 查看日誌發現： Resources are low on NN. Please add or free up more resources
2019-03-16 17:47:03
1
原创 spark sql — 集羣環境errors
errorsspark.sql.warehouse.dir spark.sql.warehouse.dir // 默認值：System.getProperty("user.dir")/spark-warehouse // 默認找的是u
2019-03-15 17:55:10
原创 spark sql — Partition Discovery
Partition Discoveryparaquet數據源自動分區推斷 paraquet數據源自動分區推斷 For example, when path/to/table/gender=male is the path of the
2019-03-13 22:20:03
2
原创 spark sql 功能代碼1 — 查找匹配特定字符串的所有行
匹配特定字符串所有行版本1 版本1 要點：因爲每一行tab鍵分割後，數組大小固定，過濾掉垃圾數據 package sql; import java.util.ArrayList; import java.util.List; im
2019-03-11 16:40:16
原创 spark - 簡記
map階段寫內存 - 歸併排序 SortShufleWriter.write sorter.writePartitionedFile(blockId, tmp) collection.destructiveSortedWritab
2019-03-11 16:40:16
原创 Java 代碼品讀1 —— Integer.highesOneBit(i)
Integer.highesOneBit原碼, 反碼, 補碼基本概念原碼, 反碼, 補碼錶示方法總結 1、閱讀代碼時候，偶爾看到 Integer.highestOneBit(i) 這個函數調用。使用的第一感覺就是這個函數是
2019-03-10 21:58:08
原创 Shell腳本1 —— 統計文件行數
統計文件行數方法1方法2方法3方法6方法方法 方法1 獲取單個文件行數 awk ‘{print NR}’ file|tail -1 方法2 獲取單個文件行數 awk ‘END{print NR}’ file 方法3 獲取單個文件行數
2019-03-10 16:35:17
原创 RDMA-error1-ibv_devces
errors https://incubator-crail.readthedocs.io/en/latest/source.html
2019-02-28 01:14:19
4
原创 spark streaming + kafka
學習筆記 https://github.com/apache/spark/blob/v2.1.0/examples/src/main/scala/org/apache/spark/examples/streaming/KafkaWor
2019-01-17 00:40:32