原创 Scala Json與map互轉
Map2Json import com.alibaba.fastjson.{JSONArray, JSONObject} val map = mutable.HashMap("1"->1,"2"->2,"3"-
2020-05-03 12:01:48
原创 Sum 函數 Axis 詳解
編程過程中經常需要對數組進行處理，而sum又是經常需要用到的函數，sum函數傳參時會用到axis參數，低維度還好，高維度經常容易混淆，本文基於TF，對數組sum時axis進行詳解，即對哪個位置加，加完形狀變什麼樣。 Tip: tf只是用來
2020-04-30 01:31:35
原创 Shell 檢查HDfS文件
平常腳本運行需要檢查對應hdfs路徑相關信息，總結一下： Tip: 假設要檢查的路徑爲check_path 1.獲取路徑文件大小並轉化爲規定單位 Byte,K,M,G bytes獲取文件大小，單位爲字節；base爲轉換單位的基準，我這裏取
2020-04-28 02:45:42
原创 Scala 獲取時間，時間戳，時間差
經常遇到處理時間與獲取當前時間，記錄一下： 1.獲取時間 1）獲取當前時間 dateFormat規定好想要的數據格式 常用的對應如下： 格式 yyyy MM dd HH mm ss 對應 年 月 日 小時 分鐘 秒 編程中常用的:
2020-04-28 02:45:42
2
原创 Scala 序列化 反序列化 Object
網上的序列化object教程都是基於Java寫的，沒有Scala版本，只能自己動手改造一下= = 1.要序列化類，首先寫一個基礎類供我們操作： 非常基礎，只有姓名和年齡兩個變量的基礎類 class Student() extends j
2020-04-14 14:41:46
原创 Shell 常用分割字符串
經常需要用shell對字符串或者路徑解析，mark兩種自己常用的分割方法： 1.awk 示例： echo $name|awk -F '_' '{print $1}' Tip: -F後面跟要使用的分隔符 $1類似於取分割後的第一個內容,輸
2020-04-14 14:41:46
原创 Hive 分區表創建，增加，刪除
Hive分區表 1.從HDFS加載數據 A.建表時加載 hive -e "create table if not exists tableName str1 string, str2 string, str3 string ) pa
2020-02-23 14:06:19
原创 SparkStreaming x Kafka 0.8 / 0.10 消費指南
Streaming x Kafka 實時統計數據時需要用到Spark Sreaming x kafka，spark版本就不多贅述了，kafka版本現在主要分0.8.x.x和0.10.x.x，但是調用相同API消費時發現兩者有區別，這裏做一
2020-02-23 14:06:19
原创 Hbase 建立分區表 By Scala
問題描述： Hbase在大規模數據數據集情況下拉取數據時，若rowkey密集集中在一臺節點，則在批量拉取數據時容易出現數據拉取速度很慢或者出現timeout，如果資源允許的情況下，可以將rowkey根據自己的規則手動split到多個分區中
2020-02-23 14:06:19
原创 Shell 加減乘除
Shell 加減乘除 Expr echo 加 `expr 9 + 3` echo 減 `expr 9 - 3` echo 乘 `expr 9 \* 3` echo 除 `expr 9 / 3` 加 12 減 6 乘 27 除 3 b
2020-02-23 14:06:19
原创 Java Map Merge方法
Merge 先鋪下源碼： Merge意爲合併，這裏主要是針對Map多個key-value對進行處理，如果key存在，則執行value的merge方法，這裏merge方法是自己定義的，如果key不存在，則會根據默認值將key-value對p
2020-02-23 14:06:19
原创 樸素貝葉斯-分類及Sklearn庫實現（2）機器學習實戰
上一篇文章我們簡單介紹了樸素貝葉斯的前提條件以及實現過程，並介紹了幾個流行的樸素貝葉斯分類法，實現了最基本的文本分類，這篇文章將繼續介紹樸素貝葉斯分類，這次主要通過垃圾郵件過濾的程序實現，深化貝葉斯分類的過程，並通過sklearn
2020-02-23 14:06:19
2
原创 Idea Git 恢復reset --hard與刪除的內容
開發環境：Idea 版本控制：Git 場景： git reset --hard 後修改內容丟失 ，且修改內容未 git add 與 git commit 開發時因爲cd錯工程目錄 誤reset -hard重置了另一個工程，裏面開發了很多代
2020-02-23 14:06:19
原创 Git 本地分支關聯遠程分支
本地分支關聯到遠程分支，遠程分支不存在： 在本地新建了分支 branch_A ，修改功能，想要在遠程關聯origin/branch_A，但遠程未創建origin/branch_A. git add . git commit -m "更新
2019-10-26 05:13:04
原创 Shell If Else語句 數學運算 與 邏輯運算
數學運算 等於 = -eq 不等於 != -ne 大於 > -gt 大於等於 >= -ge 小於 < -lt 小於等於 <= -le Tip : 只能使用最後一列的方法 邏輯運算 與 或 非 && || ! -a -o ! T
2019-09-03 03:31:24