原创 HBase與HDFS與RDBMS區別

HBase: HBase 是一個高可靠、高性能、面向列、可伸縮的分佈式NoSQL 數據庫,運行於HDFS 文件系統之上,主要用來存儲非結構化和半結構化的鬆散數據。HBase 的目標是處理非常龐大的表,可以通過水平擴展的方式,利用廉

原创 支持在線大數據SQL查詢平臺開源項目

一、XQL/IQL 基於SparkSQL實現了一套即席查詢服務,具有如下特性: 優雅的交互方式,支持多種數據源/接收器,多數據源混算 spark常駐服務,基於zookeeper的引擎自動發現 負載均衡,多個引擎隨機執行 多會話模式

原创 mapstruct拷貝對象

一、依賴 <dependency> <groupId>org.mapstruct</groupId> <artifactId>mapstruct</artifact

原创 Lambda架構與Kappa架構對比

首先大數據處理系統需要幾個特性: 1、容錯性和魯棒性:對大規模分佈式系統來說,機器是不可靠的,可能會當機,但是系統需要是健壯、行爲正確的,即使是遇到機器錯誤。 2、低延時:很多應用對於讀和寫操作的延時要求非常高,要求對更新和查詢的

原创 文本相似度計算工具類

package com.citydo.xclouddesk.utils; import cn.hutool.core.collection.CollUtil; import cn.hutool.extra.tokenizer.R

原创 前端最新技術

一、前端AI代碼生成 由設計稿一鍵智能生成代碼 平臺:https://www.imgcook.com/ 算法:https://github.com/alibaba/pipcook 二、XReplay雲端錄屏及回放 XReplay

原创 前後端開發技巧積累

一、瀏覽器的控制檯(consloe)引入js var jquery = document.createElement('script'); jquery.src = 'https://code.jquery.com/jquer

原创 長url變成短url

package com.citydo.xclouddesk.utils; import java.security.MessageDigest; import java.util.HashMap; import java.ut

原创 java調用cmd以及liunx命令工具類

package com.citydo.xclouddesk.utils; import lombok.extern.slf4j.Slf4j; import java.io.*; import java.nio.charset.C

原创 JAVA實現simHash算法等工具類

一、simHash算法 package com.citydo.checkandbigdataquery.utils; import it.unimi.dsi.fastutil.longs.LongOpenHashSet; imp

原创 python代碼轉jar包

一、安裝 首先需要安裝jython-installer-2.7.1的jar包工具。下載地址:https://www.jython.org/ 二、注意需要默認安裝 三、使用cmd進入jython環境 3.1、配置環境變量 3.

原创 redis+springboot實現TOP10排行榜

一、控制層 package com.citydo.xclouddesk.webapi.knowledgebase; import com.citydo.xclouddesk.knowledgebase.service.Hot

原创 websocket stomp與RabbitMQ結合

一、配置application.properties #rabbitmq spring.rabbitmq.host=127.0.0.1 spring.rabbitmq.port=5672 spring.rabbitmq.usern

原创 ES指定版本安裝dockerfile

#新生成的鏡像基於官網中的es進行創建 FROM docker.elastic.co/elasticsearch/elasticsearch:6.2.2 MAINTAINER "[email protected]" #es配

原创 java對基類性能測試

一、什麼是jmh JMH是OpenJDK提供的基準測試工具,是由Oracle實現JIT的相同人員開發的。 如: 想準確的知道某個方法需要執行多長時間,以及執行時間和輸入之間的相關性; 對比接口不同實現在給定條件下的吞吐量,找到最優