原创 Java 8新特性總結

2018.12.02 文章目錄前言Lambda表達式定義語法作用域Lambda表達式的極簡模式——方法引用定義語法Lambda表達式的類型——函數式接口定義語法Lambda鐵蹄踏遍Java默認方法定義多個接口的繼承問題——鑽石問題

原创 《關鍵對話》讀後感

2019.01.12 文章目錄前言“上帝”視角一切的救贖都是自省和控制 前言 這本書的作者有四位(Kerry Patterson等),通讀下來會感覺它是一個研究項目的研究成果——有豐富的社會調查、對話的方法和技巧,研究問題的視角全

原创 Hive: 獲取字段數據類型

2018.12.01 文章目錄前言方法 前言 某項目涉及將Hive中的textFile錶轉換成parquet表,由於parquet表不支持date類型,需要判斷字段是否是date,並cast成timestamp。 方法 採用DES

原创 Caused by: Vertica error - too complex to analyze

2018.11.30 文章目錄前言追根溯源恍然大悟 前言 某工程進行Vertica表間數據拼接,大致SQL語句如下: insert into tableForInsert as select * from tableA union

原创 Hive: 創建分區表(partition表)及分區表導入csv文本文件數據

2018.11.21 文章目錄前言方法 前言 某項目生產環境中的Hive是按月份分區,而測試環境的沒有分區,導致部分功能無法驗證。 方法 基本思路:分別創建兩個表,一張是分區表,另一張是非分區表,表結構相同;再通過insert語句

原创 Spring Boot: Actuator Endpoint

2018.11.14 文章目錄前言介紹技術透明( technology-agnostic)的端點端點使用端點開啓端點公開方式加固HTTP端點訪問自定義端點 前言 翻譯自Spring Boot官方文檔——Spring Boot Ac

原创 Caused by: java.io.FileNotFoundException: __app__.jar或WARN internal.EntityManagerFactoryRegistry

2018.11.18 文章目錄前言方法錯誤的嘗試正確的解法 前言 項目背景:有一個基於Spring Boot的調度器,負責調度並向Yarn提交Spark作業。在測試時發現,有個Spark作業一直報__app__.jar找不到的錯誤

原创 SQL: Case-When實現複雜排序

2018.11.18 文章目錄前言方法 前言 某個模塊讀取SQL server時,需要按一定的優先級讀取,比如滿足T.a = 'A’的先讀,T.b='B’的次之,T.c='C’的優先級最低。最簡單的方案,就是分三條SQL讀取,依次

原创 Spring Boot: 實現優雅退出

2018.11.18 文章目錄前言方法方法一:Actuator的Endpoint機制[^1]方法二:使用`ApplicationContext#close()`方法方法三:`@PreDestroy` + `kill ` 前言 要求

原创 Tomcat: 開啓遠程調試Remote Debugging模式

2018.11.01 文章目錄前言方法方法一:`JPDA_OPTS`方法二(建議):`CATALINA_OPTS`Old-fashioned方法 前言 Tomcat的遠程調試模式是個常用且好用的功能,一旦項目部署到遠程服務器上時(

原创 Caused by: declares multiple JSON fields

2018.10.31 文章目錄前言方法 前言 某項目已上線的版本中,將ChildA類的實例通過ObjectOutputStream#writeObject12進行序列化並寫入HDFS中;而後某個版本中,由於未採用繼承的方法,該模塊

原创 Windows: CMD設置環境變量

2018.11.01 文章目錄前言方法 前言 在Windows下安裝JDK或者部署Tomcat,安裝環境變量的過程總讓我覺得很蛋疼,每次點擊都讓人覺得麻煩。所以找到了在CMD上命令行設置環境變量的方法。 方法 例如配置JAVA_H

原创 序列化及Java Serializable序列化接口

2018.11.02 文章目錄前言Hello,序列化`Serializable`:不能忽視的你 前言 某項目新版本上線,新版本中添加了A類,而A類最終會通過ObjectOutputStream#writeObject方法1序列化到

原创 Java: 獲取jar包中某個類的serialVersionUID(序列版本id)

2018.11.02 文章目錄前言方法 前言 在《序列化及Java Serializable序列化接口》一文,我介紹了一個case:一個已上線的版本中包含了未定義serialVersionUID序列版本id的類。本文就會講述這類問

原创 Maven: 創建Java/Scala混編項目

2018.11.02 文章目錄前言方法 前言 項目需求改變,需要開發Spark應用,而原項目是基於Java開發的,所以就需要原項目能支持Java/Scala混編。原項目採用的是Maven項目管理工具,編輯器是IDEA。 方法 本方