原创 HBase與HDFS與RDBMS區別
HBase: HBase 是一個高可靠、高性能、面向列、可伸縮的分佈式NoSQL 數據庫,運行於HDFS 文件系統之上,主要用來存儲非結構化和半結構化的鬆散數據。HBase 的目標是處理非常龐大的表,可以通過水平擴展的方式,利用廉
原创 支持在線大數據SQL查詢平臺開源項目
一、XQL/IQL 基於SparkSQL實現了一套即席查詢服務,具有如下特性: 優雅的交互方式,支持多種數據源/接收器,多數據源混算 spark常駐服務,基於zookeeper的引擎自動發現 負載均衡,多個引擎隨機執行 多會話模式
原创 mapstruct拷貝對象
一、依賴 <dependency> <groupId>org.mapstruct</groupId> <artifactId>mapstruct</artifact
原创 Lambda架構與Kappa架構對比
首先大數據處理系統需要幾個特性: 1、容錯性和魯棒性:對大規模分佈式系統來說,機器是不可靠的,可能會當機,但是系統需要是健壯、行爲正確的,即使是遇到機器錯誤。 2、低延時:很多應用對於讀和寫操作的延時要求非常高,要求對更新和查詢的
原创 文本相似度計算工具類
package com.citydo.xclouddesk.utils; import cn.hutool.core.collection.CollUtil; import cn.hutool.extra.tokenizer.R
原创 前端最新技術
一、前端AI代碼生成 由設計稿一鍵智能生成代碼 平臺:https://www.imgcook.com/ 算法:https://github.com/alibaba/pipcook 二、XReplay雲端錄屏及回放 XReplay
原创 前後端開發技巧積累
一、瀏覽器的控制檯(consloe)引入js var jquery = document.createElement('script'); jquery.src = 'https://code.jquery.com/jquer
原创 長url變成短url
package com.citydo.xclouddesk.utils; import java.security.MessageDigest; import java.util.HashMap; import java.ut
原创 java調用cmd以及liunx命令工具類
package com.citydo.xclouddesk.utils; import lombok.extern.slf4j.Slf4j; import java.io.*; import java.nio.charset.C
原创 JAVA實現simHash算法等工具類
一、simHash算法 package com.citydo.checkandbigdataquery.utils; import it.unimi.dsi.fastutil.longs.LongOpenHashSet; imp
原创 python代碼轉jar包
一、安裝 首先需要安裝jython-installer-2.7.1的jar包工具。下載地址:https://www.jython.org/ 二、注意需要默認安裝 三、使用cmd進入jython環境 3.1、配置環境變量 3.
原创 redis+springboot實現TOP10排行榜
一、控制層 package com.citydo.xclouddesk.webapi.knowledgebase; import com.citydo.xclouddesk.knowledgebase.service.Hot
原创 websocket stomp與RabbitMQ結合
一、配置application.properties #rabbitmq spring.rabbitmq.host=127.0.0.1 spring.rabbitmq.port=5672 spring.rabbitmq.usern
原创 ES指定版本安裝dockerfile
#新生成的鏡像基於官網中的es進行創建 FROM docker.elastic.co/elasticsearch/elasticsearch:6.2.2 MAINTAINER "[email protected]" #es配
原创 java對基類性能測試
一、什麼是jmh JMH是OpenJDK提供的基準測試工具,是由Oracle實現JIT的相同人員開發的。 如: 想準確的知道某個方法需要執行多長時間,以及執行時間和輸入之間的相關性; 對比接口不同實現在給定條件下的吞吐量,找到最優