原创 通過自旋鎖來解決多線程遠程調用時會多次獲取token的問題

一,背景 項目中需要調用第三方接口,調用時需要攜帶token;而token會兩個小時失效一次. 原有的邏輯是調用三方接口時,如果返回token失效就先獲取token後再調用三方接口; 問題點 假設當線程A在獲取token時,線程

原创 服務器實現Frp內網穿透

條件 需要內網服務器能訪問公網 下載 在公網服務器和內網機器上都要下載frp安裝包並解壓: $ wget https://github.com/fatedier/frp/releases/download/v0.21.0/

原创 SpringBoot 雙數據源配置

1 項目結構示意圖及配置文件 主要關注mapper文件包和Mapper.xml包 配置文件ip端口及時替換 server: port: 8082 spring: application: name: produ

原创 telnet能通 oracle rac連接報ORA-12170錯誤。

起因: 由於需要專網網絡連接10.235.8.50:1521 oracle數據庫連接;在打通10.235.8.50:1521;ip端口後;telnet 10.235.8.50 1521能通連接報錯 ORA-12170 環境:

原创 restTemplate和robbin實現負載均衡 原理解讀

我們知道在springCloud中爲RestTemplate貼上@LoadBalanced的註解即實現的對該RestTemplate的uri的替換和負載均衡;具體實現是怎樣呢 LoadBalancerAutoConfigurati

原创 根據值獲取枚舉類對象工具類EnumUtils

一,背景: 項目中枚舉用的比較多,使用枚舉時經常要根據枚舉某個屬性獲取枚舉對象,這就導致了我們每個枚舉類裏都要定義一個獲取的方法,例如 import lombok.AllArgsConstructor; import lombok

原创 DataFrame 的函數

DataFrame 的函數 Action 操作 1、 collect() ,返回值是一個數組,返回dataframe集合所有的行 2、 collectAsList() 返回值是一個Java類型的數組,返回dataframe集合所有的行

原创 spark 常用操作

該文章記錄使用的spark的基本操作 import breeze.numerics.pow import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSe

原创 org.apache.spark.sql.functions._

  集合函數 approx_count_distinct count_distinct近似值 avg 平均值 collect_list 聚合指定字段的值到list collect_set 聚合指定字段的值到set corr 計算兩列的P

原创 class type required but T found 獲取Scala泛型的Class

問題代碼: object Test { def msgHandler[T: ClassTag](msg: String){ val clazz = classOf[T]) //獲取T的泛型時報錯

原创 401 Unauthorized: ERROR Failed to connect to newly launched supervisor. Agen

該情況分爲兩種: 一:/opt/XXXX/lib/cloudera-scm-agent/目錄下的uuid一樣導致 處理方式:1,刪除該節點下/opt/XXXX/lib/cloudera-scm-agent/目錄下的所有文件        

原创 idea intellij 連接hadoopHDFS插件

1,插件鏈接地址:idea intellij 連接hadoopHDFS插件 2,下載後安裝插件 3,鏈接hdfs 填寫ip和端口 4,鏈接成功: 5.hadoop的權限修改 每次更改文件,可能都需要以root用戶登錄,或僞裝成ro

原创 lambda表達式簡單使用

一,適用場景: 1,接口有且只有一個抽象方法; 2,方法的入參中有參數爲接口的實例 此時在調用該方法時就可以使用lambda表達式了 二,使用 1,先來個簡單例子 /** * @description: * @author:

原创 基於Spring自動注入的策略模式

一 背景: 比如我現在要一個具體的活動進行crud 但我的活動分成多種活動模式如:秒殺,折扣等,這樣就不能統一對具體活動進行crud 二 傳統方式: 1,我就要通過創建不同活動類型的service如:ISeckillActiv

原创 idea之JReble激活

第一步: 訪問網址http://47.104.249.62:8089/ 獲取如下界面 其中紅框內爲生成的guid碼. 第二步: 在idea的 JRebel激活界面填入剛剛的地址/guid碼, 例如http://47.104.249.62