原创 squirrel 連接phoenix訪問Hbase
squirrel 連接phoenix 下載squirrel http://squirrel-sql.sourceforge.net/ 直接安裝 進行配置 將Phoenix下的lib下的phoenix-5.0.0-HBa
原创 phoenix 安裝教程
phoenix 概述 phoenix,中文譯爲“鳳凰”,很美的名字。Phoenix是由saleforce.com開源的一個項目,後又捐給了Apache基金會。它相當於一個Java中間件,提供jdbc連接,操作hbase數據表。 安
原创 Java API 操作Phoenix
Java API 操作Phoenix 引入相關依賴 <properties> <hbase.version>2.0</hbase.version> <hadoop.version>2.7.
原创 phoenix+springBoot+mybatis 整合
springBoot+mybatis+phoenix整合 引入相關依賴 <parent> <groupId>org.springframework.boot</groupId> <artifa
原创 Hbase的完全分佈式集羣搭建
Hbase的完全分佈式集羣搭建 一.準備工作 1.安裝三臺虛擬機 三臺虛擬機,最小的集羣規模數量,安裝過程省略。 2. 所用軟件版本 1.操作系統 CentOS-7-x86_64-Minimal-1804.iso 2.haoo
原创 Apache Flink DataStream API之Transformation
DataStream 數據轉換 常規操作符 // order zhangsan TV,GAME val env = StreamExecutionEnvironment.createLocalEnvironment()
原创 Spark-DStream的窗口計算
基本概念 Spark Steaming支持對某個時間窗口內實現對數據計算 上圖描繪了是以3倍的微批次作爲一個窗口長度,並且以2倍微批次作爲滑動間隔。將落入到相同窗口的微批次合併成一個相對較大的微批次-窗口批次。 Spark要求
原创 Springboot攔截器的開發
攔截器的作用 作用:將多個Controller中共有的代碼放在攔截器中執行,從而減少controller中代碼的冗餘。 攔截器的特點 1. 請求到達經過攔截器 響應回來經過攔截器 2. 攔截器中斷用戶的請求軌跡 3. 攔截器只
原创 Apache Flink DataStream API之程序結構分析&DataSource
ApacheFlink? - 是針對於數據流的狀態計算,Flink具有特殊類DataSet和DataStream來表示程序中的數據。您可以將它們視爲可以包含重複項的不可變數據集合。在DataSet的情況下,數據是有限的,
原创 Caused by: java.lang.NumberFormatException: For input string: "|"
這個異常是在使用spark進行數據清洗處理的時候出現的異常,在百度上搜索,發現類似的異常都是出現在jsp頁面的參數設置中,困擾了好半天。 1|24|M|technician|85711 2|53|F|other|94043 3
原创 Apache Flink之架構概述和環境
背景介紹 繼Spark之後第三代內存計算框架Flink應運而生,Flink作爲第三代計算框架Flink吸取了二代大數據Spark計算的設計的精華,依然採用DAG模型做任務拆分,但是Spark在流處理領域上因爲微觀批處理實
原创 關於取每天的00:00:01和23:59:59 的一般處理策略
1.出現背景 這個需求的出現是在項目開發過程中,進行活動時間設置。需要把活動開始當天的第一秒和活動結束當天是最後一秒,作爲一個完整的活動時間。而當時前端傳輸過來的日期格式是 年-月-日(可選擇),時分秒默認當時創建的時間。這是就需
原创 Java虛擬機(JVM)你只要看這一篇就夠了
1. Java 內存區域與內存溢出異常 1.1 運行時數據區域 根據《Java 虛擬機規範(Java SE 7 版)》規定,Java 虛擬機所管理的內存如下圖所示。 1.1.1 程序計數器 內存空間小,線程私有。字節
原创 代碼整潔
寫出整潔的代碼,是每個程序員的追求。《clean code》指出,要想寫出好的代碼,首先得知道什麼是骯髒代碼、什麼是整潔代碼;然後通過大量的刻意練習,才能真正寫出整潔的代碼。 WTF/min是衡量代碼質量的唯一標準,U
原创 JAVASE常見面試題
接口與抽象類的異同 相同: 都可以生成 對應的。class文件。 都不能創建對象。 都可以聲明引用。 都可以使用object中的方法。 不同: 接口只能定義公開靜態常量,隱式存在public static final. 接口