原创 sqlContext.udf.register( ) 的作用
SparkSQL UDF兩種註冊方式：udf() 和 register() 調用sqlContext.udf.register() 此時註冊的方法 只能在sql()中可見，對DataFrame API不可見 用法：sqlContex
2020-06-23 16:16:41
1
原创 git 換行符LF與CRLF轉換問題 IDE的默認換行符設置爲LF
在各操作系統下，文本文件所使用的換行符是不一樣的。UNIX/Linux 使用的是 0x0A（LF），早期的 Mac OS 使用的是0x0D（CR），後來的 OS X 在更換內核後與 UNIX 保持一致了。但 DOS/Windows 一直使
2020-06-23 16:16:39
3
原创 zeppelin重啓
zeppelin重啓 注意：在zeppelin重啓之前，最好和其他同事確認下是否有人正在使用，或者在YARN上查看相關Spark任務是否有active stage。 重啓步驟： 首先進入bigdata-appsvr-xxx-x主機，切
2020-06-23 16:16:29
4
原创 使用zipwithindex 算子給dataframe增加自增列 row_number函數實現自增，udf函數實現自增
DataFrame df = ... StructType schema = df.schema().add(DataTypes.createStructField("id", DataTypes.LongType, false)); 使
2020-06-23 16:16:29
原创 indexOf 與 lastIndexOf
indexOf 和 lastIndexOf 是什麼？ indexOf 和 lastIndexOf 都是索引文件 indexOf 是查某個指定的字符串在字符串首次出現的位置（索引值） （也就是從前往後查） lastI
2020-06-23 14:33:13
原创 Flink學習筆記彙總
之前的一些Flink筆記，在這裏與大家分享。 1.savepoint checkpoint savepoint是checkpoint的一種特殊方式，手動保存,其實就是指針。savepoint不會過期，不會覆蓋，除非手動刪除。
2020-06-16 02:19:51
原创 報錯：com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown column 'NaN' in 'field list'
今天只是在計算留存率的代碼中添加了一個條件，結果報錯如下： Log Type: stderr Log Upload Time: 6-Dec-2019 13:18:45 Log Length: 12549 SLF4J: Class pat
2020-02-22 01:12:33
原创 JAVA處理異常try catch 的快捷鍵
1.首先，選中你需要加的代碼塊，後右鍵，出現surroud with，之後選擇try catch即可。2.當然你可以按ctrl+shift+z，出來後在選擇。3.在myeclipse裏Alt+/是代碼提示功能，你就寫個try然後左手按下a
2018-09-04 18:41:53