原创 SpringMVC學習記錄--攔截器的使用

SpringMVC的請求如下面這種圖所示:  可以看出所有的請求都要通過Dispatherservlet來接收,然後通過Handlermapping來決定使用哪個控制器,再根據ViewResolver來決定返回哪個視圖.從流程來看,Han

原创 解決Redis分佈式鎖setnx和setexpire

String script = "local rs=redis.call('setnx',KEYS[1],ARGV[1]);if(rs<1) then return 'F';end;redis.call('expire',KEYS[1]

原创 Hive表的分區與分桶

1.Hive分區表Hive使用select語句進行查詢的時候一般會掃描整個表內容,會消耗很多時間做沒必要的工作。Hive可以在創建表的時候指定分區空間,這樣在做查詢的時候就可以很好的提高查詢的效率。創建分區表的語法:create tabl

原创 spring+mybatis+druid數據源+sharding-jdbc分庫分表

源碼地址:https://github.com/hxdcts/shardingJdbc.git sharding官網:http://shardingjdbc.io/docs/00-overview sharding git地址:https

原创 hive與hbase整合過程

原创 八個Docker的真實應用場景

【編者的話】Flux 7介紹了常用的8個Docker的真實使用場景,分別是簡化配置、代碼流水線管理、提高開發效率、隔離應用、整合服務器、調試能力、多租戶環境、快速部署。我們一直在談Docker,Docker怎麼使用,在怎麼樣的場合下使用?

原创 hive 高級數據類型使用之array(含橫錶轉縱表)

hive 高級數據類型使用用了許久的hive,但是一直都是簡單的sql join,sort, order by等,今天有一個業務場景需要使用array數據類型存儲數據並進行橫錶轉縱表的轉換。mark下以後用了可以查詢。 數據樣子是這樣的。

原创 自定義HiveServer2的用戶安全認證

HiveServer2提供了JDBC鏈接操作Hive的功能,非常實用,但如果在使用HiveServer2時候,不注意安全控制,將非常危險,因爲任何人都可以作爲超級用戶來操作Hive及HDFS數據。比如:在配置HiveServer2的時候,

原创 對象克隆(複製)

閱讀目錄 爲什麼要克隆?如何實現克隆淺克隆和深克隆解決多層克隆問題總結 假如說你想複製一個簡單變量。很簡單: int apples = 5; int pears = apples; 不僅僅是int類型,其它七種原始數據類

原创 Hbase熱點

Hbase的表會被劃分爲1....n個Region,被託管在RegionServer中。Region二個重要的屬性:Startkey與EndKey表示這個Region維護的rowkey的範圍,當我們要讀寫數據時,如果rowkey落在某個s

原创 python 爬有道

# -*- coding: UTF-8 -*- from urllib import request from urllib import parse import json while 1: if __name__ == "__

原创 hadoop eclipse plugin 編譯安裝,問題總結

插件名稱:hadoop2x-eclipse-plugin插件地址:https://github.com/winghc/hadoop2x-eclipse-plugin  1.下載並解壓hadoop2.x,下載地址http://hadoop.

原创 Swagger

1:認識Swagger Swagger 是一個規範和完整的框架,用於生成、描述、調用和可視化 RESTful 風格的 Web 服務。總體目標是使客戶端和文件系統作爲服務器以同樣的速度來更新。文件的方法,參數和模型緊密集成到服務器端的代碼,

原创 mac下hadoop環境的搭建

提示:這裏有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 錯誤的解決的方法,在文章最後面一、首先要配置好java環境 下載地址:http://www.oracle.

原创 AES的PKCS7Padding 256加解密

基於微信退款操作的AES-256-ECB解密(PKCS7Padding)1、解密方式解密步驟如下: (1)對加密串A做base64解碼,得到加密串B(2)對商戶key做md5,得到32位小寫key* ( key設置路徑:微信商戶平臺(pa