原创 java Spark RDD從Hive表中讀取數據並保存爲JavaPairRDD
HiveContext hiveCtx = new HiveContext(jsc);hiveCtx.sql("use xx");//xx爲Hive
2020-06-13 19:16:31
1
原创 從Hive中讀取數據並轉化爲JavaRDD （待放到spark平臺驗證）
Dataset<Row> rows = hiveCtx.sql("select * from aa"); JavaR
2020-06-13 19:16:31
原创 預防Map無key和預防jsonObj無key
一、預防Map無key public String getMapValue(String key, Map<String,Object> map){ String vlaue = ""; if(map.cont
2020-06-13 19:16:31
原创 java spark RDD 中join的使用
https://blog.csdn.net/u012050154/article/details/68066726
2020-02-23 05:26:23
原创 logback.xml配置，指定類輸出日誌到指定文件
1、 package com.app; @Controller public class aapp1 { private static final Logger logger = LoggerFactory.getLogger(a
2020-02-23 05:26:23
原创 SpringMVC+Spring security登錄驗證+權限控制
一、pom.xml添加依賴 <!-- Spring Security --> <dependency> <groupId>org.springframework.security</groupId>
2020-02-23 05:26:23
原创 獲取XML文件內容
獲取XML文件內容： 1、related-query-web\spring-hbase.xml,xml文件放在根目錄： <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" hr
2020-02-23 05:26:23
原创 設計模式的分類
設計模式在粒度和抽象層次上各不相同。由於存在衆多的設計模式，所以我們可以用一種方式將它們組織起來。這裏，我們根據兩條準則對模式進行分類，如下表所示： 第一是目的準則，即模式是用來完成什麼工作的。模式依據其目的可分爲創建型（ Creat
2020-02-23 05:26:23
原创 策略模式+工廠模式優化if...else if...else if結構
這種模式有入參，直接調用方法，且有返回結果 鏈接：http://blog.csdn.net/u011507568/article/details/70238491
2020-02-23 05:26:23
原创 大量if else 或者switch case可以採用的設計模式-----狀態模式
這種模式的入參爲類，且沒有返回結果，大量if和else爲動作Actionhttp://blog.csdn.net/u012401711/article/details/52675873 Java設計模式——狀態模式（STATE PATT
2020-02-23 05:26:23
原创 對Iterable中的數據進行用重複度進行計數，然後提取重複數最多的前3個
List<String> aa = ....; Map<String, Integer> map = new HashMap<String,Integ
2020-02-23 05:26:23
原创 初始化並獲取Hbase信息
接前面的文章“ HbaseTemplate配置進階：利用Spring自動裝配加載HbaseTemplate ” 1、java中的controller類： @Controller public class HbaseContro
2020-02-23 05:26:23
原创 初始化加載spqrk遇到Caused by: java.lang.OutOfMemoryError: PermGen space
解決方法1： 在eclipse中的Run Configuration中的JRE下的VM arguments中設置： -server -Xms1g -Xmx8g -XX:PermSize=1g -XX:MaxPermSize=1g -X
2020-02-23 05:26:23