原创 SpringMVC學習記錄--攔截器的使用
SpringMVC的請求如下面這種圖所示: 可以看出所有的請求都要通過Dispatherservlet來接收,然後通過Handlermapping來決定使用哪個控制器,再根據ViewResolver來決定返回哪個視圖.從流程來看,Han
原创 解決Redis分佈式鎖setnx和setexpire
String script = "local rs=redis.call('setnx',KEYS[1],ARGV[1]);if(rs<1) then return 'F';end;redis.call('expire',KEYS[1]
原创 Hive表的分區與分桶
1.Hive分區表Hive使用select語句進行查詢的時候一般會掃描整個表內容,會消耗很多時間做沒必要的工作。Hive可以在創建表的時候指定分區空間,這樣在做查詢的時候就可以很好的提高查詢的效率。創建分區表的語法:create tabl
原创 spring+mybatis+druid數據源+sharding-jdbc分庫分表
源碼地址:https://github.com/hxdcts/shardingJdbc.git sharding官網:http://shardingjdbc.io/docs/00-overview sharding git地址:https
原创 八個Docker的真實應用場景
【編者的話】Flux 7介紹了常用的8個Docker的真實使用場景,分別是簡化配置、代碼流水線管理、提高開發效率、隔離應用、整合服務器、調試能力、多租戶環境、快速部署。我們一直在談Docker,Docker怎麼使用,在怎麼樣的場合下使用?
原创 hive 高級數據類型使用之array(含橫錶轉縱表)
hive 高級數據類型使用用了許久的hive,但是一直都是簡單的sql join,sort, order by等,今天有一個業務場景需要使用array數據類型存儲數據並進行橫錶轉縱表的轉換。mark下以後用了可以查詢。 數據樣子是這樣的。
原创 自定義HiveServer2的用戶安全認證
HiveServer2提供了JDBC鏈接操作Hive的功能,非常實用,但如果在使用HiveServer2時候,不注意安全控制,將非常危險,因爲任何人都可以作爲超級用戶來操作Hive及HDFS數據。比如:在配置HiveServer2的時候,
原创 對象克隆(複製)
閱讀目錄 爲什麼要克隆?如何實現克隆淺克隆和深克隆解決多層克隆問題總結 假如說你想複製一個簡單變量。很簡單: int apples = 5; int pears = apples; 不僅僅是int類型,其它七種原始數據類
原创 Hbase熱點
Hbase的表會被劃分爲1....n個Region,被託管在RegionServer中。Region二個重要的屬性:Startkey與EndKey表示這個Region維護的rowkey的範圍,當我們要讀寫數據時,如果rowkey落在某個s
原创 python 爬有道
# -*- coding: UTF-8 -*- from urllib import request from urllib import parse import json while 1: if __name__ == "__
原创 hadoop eclipse plugin 編譯安裝,問題總結
插件名稱:hadoop2x-eclipse-plugin插件地址:https://github.com/winghc/hadoop2x-eclipse-plugin 1.下載並解壓hadoop2.x,下載地址http://hadoop.
原创 Swagger
1:認識Swagger Swagger 是一個規範和完整的框架,用於生成、描述、調用和可視化 RESTful 風格的 Web 服務。總體目標是使客戶端和文件系統作爲服務器以同樣的速度來更新。文件的方法,參數和模型緊密集成到服務器端的代碼,
原创 mac下hadoop環境的搭建
提示:這裏有Exit code: 127 Stack trace: ExitCodeException exitCode=127: 錯誤的解決的方法,在文章最後面一、首先要配置好java環境 下載地址:http://www.oracle.
原创 AES的PKCS7Padding 256加解密
基於微信退款操作的AES-256-ECB解密(PKCS7Padding)1、解密方式解密步驟如下: (1)對加密串A做base64解碼,得到加密串B(2)對商戶key做md5,得到32位小寫key* ( key設置路徑:微信商戶平臺(pa