原创 Java實現敏感詞過濾(轉)

示例代碼:https://github.com/helloworldtang/spring-boot-cookbook/blob/master/learning-demo/src/main/java/com/tangcheng/learni

原创 Canal實時抽取數據

概述 canal是阿里巴巴旗下的一款開源項目,純Java開發。基於數據庫增量日誌解析,提供增量數據訂閱&消費,目前主要支持了MySQL(也支持mariaDB)。 起源:早期,阿里巴巴B2B公司因爲存在杭州和美國雙機房部署,存在跨機房同步的

原创 Arrow數據格式-Arrow究竟是個啥

1.概述   Apache Arrow 是 Apache 基金會全新孵化的一個頂級項目。它設計的目的在於作爲一個跨平臺的數據層,來加快大數據分析項目的運行速度。 2.內容   現在大數據處理模型很多,用戶在應用大數據分析時,除了將 Had

原创 Java操作Redis簡易增刪改查

import java.util.HashMap; import java.util.List; import java.util.Map; import redis.clients.jedis.Jedis; public clas

原创 python的高級爬蟲框架Scrapy

Scrapy 衆所周知,Scrapy 是一個高級的python爬蟲框架,功能極其強大,擁有它就可以快速編寫出一個爬蟲項目,擁有它就可以搭建分佈式架構。那麼,請問這麼強大的框架要怎麼擁有?很簡單,由於我只嘗試了Windows平臺下的安裝,所

原创 Apache Falcon簡介-Hadoop數據生命週期管理框架

Apache Falcon是一個開源的hadoop數據生命週期管理框架, 它提供了數據源 (Feed) 的管理服務,如生命週期管理,備份,存檔到雲等,通過Web UI可以很容易地配置這些預定義的策略, 能夠大大簡化hadoop集羣的數據

原创 簡單的接口的請求日誌攔截工具類

捕捉每個接口的請求參數,請求時間,請求方式,返回參數,返回時間,執行時間,異常信息 技術:AOP切面 程序 package com.movitech.contract.config; import com.alibaba.fastj

原创 CentOS 7 安裝Git

服務器端 1.先從yum安裝git yum –y install git 2.在需要的位置創建一個裸倉庫(最後以.git結尾) cd /usr/local mkdir git cd git git init --bare learng

原创 【圖文詳解】linux下配置遠程免密登錄

linux下各種集羣搭建往往需要配置遠程免密登錄,本文主要描述了CentOs6.3系統下配置免密登錄的詳細過程。 ssh遠程登錄,兩種身份驗證: 用戶名+密碼 密鑰驗證 機器1生成密鑰對並將公鑰發給機器2,機器2將公鑰保存。 機器1要登

原创 IDEA類和方法註釋模板設置

一、首先我們來設置IDEA中類的模板:(IDEA中在創建類時會自動給添加註釋) 1、File-->settings-->Editor-->File and Code Templates-->Files 我們選擇Class文件(當然你要設置

原创 Intellij IDEA快捷方式-簡單-實用-高效-小技巧

概述 Intellij IDEA真是越用越覺得它強大,它總是在我們寫代碼的時候,不時給我們來個小驚喜。出於對Intellij IDEA的喜愛,我決定寫一個與其相關的專欄或者系列,把一些好用的Intellij IDEA技巧分享給大家。本文是

原创 PowerDesigner執行sql腳本方式建立數據模型

PowerDesigner 相信 經常和數據庫打交道的都知道這個強大的工具,主要用來建模,在建立模型時以往我都是直接在裏面創建一個模型,然後手動建表,觸發器,序列等,其實在PowerDesigner中建立數據模型時,如果有相應的sql腳本

原创 JDK1.8,Java8常用新特性

A.Lamdba表達式 1.Java8概述 Java8,也就是jdk1.8,是意義深遠的一個新版本 是Java5之後一個大的版本升級,讓Java語言和庫彷彿獲得了新生 新特性包含: a.隨着大數據的興起,函數式編程在處理大數據上的優

原创 MySQL優化原理(超簡單!!!)

說起MySQL的查詢優化,相信大家積累一堆技巧:不能使用SELECT *、不使用NULL字段、合理創建索引、爲字段選擇合適的數據類型..... 你是否真的理解這些優化技巧?是否理解其背後的工作原理?在實際場景下性能真有提升嗎?我想未必。因

原创 SpringCloud教程 | 第六篇: 分佈式配置中心(Spring Cloud Config)

在上一篇文章講述zuul的時候,已經提到過,使用配置服務來保存各個服務的配置文件。它就是Spring Cloud Config。 一、簡介 在分佈式系統中,由於服務數量巨多,爲了方便服務配置文件統一管理,實時更新,所以需要分佈式配置中心組