原创 scala中的foldLeft、foldRight
fold, foldLeft, and foldRight之間的區別 主要的區別是fold函數操作遍歷問題集合的順序。foldLeft是從左開始計算，然後往右遍歷。foldRight是從右開始算，然後往左遍歷。而fold遍歷的順序沒有
2020-07-04 19:31:34
15
原创 創建hive表時（分區表、內外表都適用），遇到雙符號的切分符怎麼辦，比如：||
兩個字段的例子 # 1. 建表 create EXTERNAL table b( id double, name string) PARTITIONED BY (ds STRING) row format serde 'org.a
2020-07-04 19:31:34
原创 split切分“”（雙引號）
case class AA(a1: Float, a2: Float, a3: Float, a4: Float, a5: Long, a6: Long, a7: Long, a8: Long, a9: Long, a10: Long
2020-07-04 19:31:34
1
原创 用maven實現java最簡單的httppost推送程序，讀取postgres表中數據，用httppost將數據推送到指定的URL路徑中，推送成功返回200後更新這批數據的falg字段。
1.程序目錄 2.工具類 2.1 JDBC類 package com.emg.publish.util; import com.emg.publish.pojo.Datas; import org.apache.log4j.Log
2020-07-04 19:31:34
原创 用java代碼來理解scala中的伴生類、伴生對象
初次接觸這兩個概念覺得怪怪的。寫了段代碼測試了一下，幫助自己理解。 scala裏面沒有 static 關鍵字。那麼如果想實現static的效果要怎麼做呢？ ==》 可以使用伴生對象 在同一個scala文件中定義一個類，同時定義一個同名的
2020-07-04 19:31:34
2
原创 java讀取postgres數據庫配置jdbc.properties、log4j.properties文件
log4j.properties文件 #log4j.rootLogger=ERROR, stdout #log4j.appender.stdout=org.apache.log4j.ConsoleAppender #log4j.appe
2020-07-04 19:31:34
5
原创 spark讀取excel表格
參考資料：https://blog.csdn.net/qq_38689769/article/details/79471332 參考資料：https://blog.csdn.net/Dr_Guo/article/details/77374
2020-07-04 19:31:34
1
原创 當value中是數組的時候，reduceByKey的用法
val etlData = etledRDD.map { log => val fields = log.split(delimiter) val lat = fields(3).toDouble val l
2020-07-04 19:31:34
1
原创 scala中zip、case你不知道的用法
zip的用法 def main(args: Array[String]): Unit = { /*val buf = new StringBuilder // buf += "a" //添加單個字符用 +=
2020-07-04 19:31:34
4
原创 Scala中 class和case class的區別
在Scala中存在case class，它其實就是一個普通的class。但是它又和普通的class略有區別，如下： 1、初始化的時候可以不用new，當然你也可以加上，普通類一定需要加new； scala> case class It
2020-07-04 19:31:34
1
原创 scala java.util.regex.PatternSyntaxException:Unclosed character class near index 0 [ ^
數據： [1596861] [1599051] [1599347] [1616105] [1617118] [1629390] [1636703] [1638234] [1643054] [1655674] 代碼： val dat
2020-07-04 19:31:34
13
原创 Scala中Case Class與匹配模式是怎麼回事
一.匹配模式 Scala中匹配模式，類似與Java中的Switch。不過，Scala中匹配模式避免了Java Switch忘記Break時，穿透的問題。 演示如下： for(i <- 1 to 100){ i ma
2020-07-04 19:31:34
1
原创 postgres數據庫中獲取當前日期、周幾，還有列轉行和hive中獲取當前日期、string轉成map、列轉行的代碼
--postgresSQL寫法 需求都是同一roadid下，求每15分鐘的均速km/h create table if not exists avg_speed_week_day0 as ( select c.roadid,c
2020-07-04 19:31:34
原创 scala中split(" ") 和 split(" ", -1) 區別
做實驗表明： 1.如果字符串最後一位有值，則沒有區別， 2.若干最後n位都是切割符，split(" ")不會繼續切分，split(" ", -1)會繼續切分 String line = "a b c
2020-07-04 19:31:34
1
原创 （hiveSQL語句寫對了，就是執行不對）用Notepad++寫hiveSQL語句遇到的怪事！！Display all 444 possibilities? (y or n)
今天可算是碰到怪事了，一句簡單的SQL死活就是運行不對，最後發現是Notepad++在作怪！ 如上圖，同一條sql，在自己粘貼複製到shell命令中的時候會報錯， 或者這種錯 原因：我是直接雙擊sql語句過來的 （如下圖，直
2020-07-04 19:31:34
1