原创 squirrel 連接phoenix訪問Hbase

squirrel 連接phoenix 下載squirrel http://squirrel-sql.sourceforge.net/ 直接安裝 進行配置 將Phoenix下的lib下的phoenix-5.0.0-HBa

原创 phoenix 安裝教程

phoenix 概述 phoenix,中文譯爲“鳳凰”,很美的名字。Phoenix是由saleforce.com開源的一個項目,後又捐給了Apache基金會。它相當於一個Java中間件,提供jdbc連接,操作hbase數據表。 安

原创 Java API 操作Phoenix

Java API 操作Phoenix 引入相關依賴 <properties> <hbase.version>2.0</hbase.version> <hadoop.version>2.7.

原创 phoenix+springBoot+mybatis 整合

springBoot+mybatis+phoenix整合 引入相關依賴 <parent> <groupId>org.springframework.boot</groupId> <artifa

原创 Hbase的完全分佈式集羣搭建

Hbase的完全分佈式集羣搭建 一.準備工作 1.安裝三臺虛擬機 三臺虛擬機,最小的集羣規模數量,安裝過程省略。 2. 所用軟件版本 1.操作系統 CentOS-7-x86_64-Minimal-1804.iso 2.haoo

原创 Apache Flink DataStream API之Transformation

DataStream 數據轉換 常規操作符 // order zhangsan TV,GAME val env = StreamExecutionEnvironment.createLocalEnvironment()

原创 Spark-DStream的窗口計算

基本概念 Spark Steaming支持對某個時間窗口內實現對數據計算 上圖描繪了是以3倍的微批次作爲一個窗口長度,並且以2倍微批次作爲滑動間隔。將落入到相同窗口的微批次合併成一個相對較大的微批次-窗口批次。 Spark要求

原创 Springboot攔截器的開發

攔截器的作用 作用:將多個Controller中共有的代碼放在攔截器中執行,從而減少controller中代碼的冗餘。 攔截器的特點 1. 請求到達經過攔截器 響應回來經過攔截器 2. 攔截器中斷用戶的請求軌跡 3. 攔截器只

原创 Apache Flink DataStream API之程序結構分析&DataSource

ApacheFlink? - 是針對於數據流的狀態計算,Flink具有特殊類DataSet和DataStream來表示程序中的數據。您可以將它們視爲可以包含重複項的不可變數據集合。在DataSet的情況下,數據是有限的,

原创 Caused by: java.lang.NumberFormatException: For input string: "|"

這個異常是在使用spark進行數據清洗處理的時候出現的異常,在百度上搜索,發現類似的異常都是出現在jsp頁面的參數設置中,困擾了好半天。 1|24|M|technician|85711 2|53|F|other|94043 3

原创 Apache Flink之架構概述和環境

背景介紹 繼Spark之後第三代內存計算框架Flink應運而生,Flink作爲第三代計算框架Flink吸取了二代大數據Spark計算的設計的精華,依然採用DAG模型做任務拆分,但是Spark在流處理領域上因爲微觀批處理實

原创 關於取每天的00:00:01和23:59:59 的一般處理策略

1.出現背景 這個需求的出現是在項目開發過程中,進行活動時間設置。需要把活動開始當天的第一秒和活動結束當天是最後一秒,作爲一個完整的活動時間。而當時前端傳輸過來的日期格式是 年-月-日(可選擇),時分秒默認當時創建的時間。這是就需

原创 Java虛擬機(JVM)你只要看這一篇就夠了

1. Java 內存區域與內存溢出異常 1.1 運行時數據區域 根據《Java 虛擬機規範(Java SE 7 版)》規定,Java 虛擬機所管理的內存如下圖所示。   1.1.1 程序計數器 內存空間小,線程私有。字節

原创 代碼整潔

寫出整潔的代碼,是每個程序員的追求。《clean code》指出,要想寫出好的代碼,首先得知道什麼是骯髒代碼、什麼是整潔代碼;然後通過大量的刻意練習,才能真正寫出整潔的代碼。 WTF/min是衡量代碼質量的唯一標準,U

原创 JAVASE常見面試題

接口與抽象類的異同 相同: 都可以生成 對應的。class文件。 都不能創建對象。 都可以聲明引用。 都可以使用object中的方法。 不同: 接口只能定義公開靜態常量,隱式存在public static final. 接口