原创 java通過JDBC連接hiveserver

最近需要用到這個,先放這裏吧,用的時候可以直接用了1、hive依賴hadoop,將hdfs當作文件存儲介質,那是否意味着hive需要知道namenode的地址?     實際上在hive的hive-env.sh 中配置了 HADOOP_H

原创 elasticsearch query and

{ "query": { "bool": { "must": [ { "match": { "name.formatted": {

原创 es 原生API

1、創建索引 http://192.168.1.1:9200/indexname1?pretty {     "settings" : {         "number_of_shards" : 3,         "number_o

原创 常用sql操作

1、創建數據庫CREATE DATABASE IF NOT EXISTS secencipher DEFAULT CHARSET utf8 COLLATE utf8_general_ci2、生成數據表DROP TABLE IF EXIST

原创 數據採集及埋點、無埋點

隨着移動互聯網時代的興起和數據量的大規模爆發,越來越多的互聯網企業開始重視數據的質量,用戶對數據的需求已經不僅僅侷限於簡單的 PV、UV,而是更加重視用戶使用行爲數據的相關分析。在數據分析的道路上,數據採集是重中之重。數據採集的質量直接決

原创 elasticsearch性能優化

1. 多線程程序插入,可以根據服務器情況開啓多個線程index  速度可以提高n倍, n>=2  2. 如果有多臺機器,可以以每臺設置n個shards的方式,根據業務情況,可以考慮取消replias  curl -XPUT 'http:/

原创 IntelliJ IDEA 配置Tomcat 運行Web項目並打war包

1、配置web項目1.1、首先引入項目File ---> open 彈出框中選中待引入的項目;若爲maven項目,可以點一下右面的 Maven Projects,引入相關依賴1.2、把項目配置好,如引入JDK等等1.3開始配置項目 Fil

原创 elasticsearch優化

1、elasticsearch索引優化 ES索引的過程到相對Lucene的索引過程多了分佈式數據的擴展,而這ES主要是用tranlog進行各節點之間的數據平衡。所以從上我可以通過索引的settings進行第一優化:  “index.t

原创 hive數據直接寫入到es索引中

1、創建索引     put:   http://es.dm.csdn.net/item_for_related     post: http://es.dm.csdn.net/item_for_related/item/_mapping

原创 java.lang.VerifyError: Expecting a stackmap frame at branch target 16 類似java異常

報異常的方法內使用了Java 7的新特性:自動資源釋放,類似於try(){},即在try後面跟一括號,在括號裏面對一些資源賦值,try裏面的代碼塊執行完畢之後會自動釋放try後面的括號中聲明的資源。 Java 7 會使用新的Class

原创 elasticsearch創建索引和查詢索引

1、註冊索引 settings='{"settings":{"index":{"number_of_shards":15,"number_of_replicas":6,"refresh_interval":"300s"}},"analys

原创 redis-cli 將內容寫入文件中

echo "keys 'cf_a1s2_*'" | redis-cli -h '127.0.0.1' -p 6379 -a '123456' > /tmp/cf_a1_keys.txt

原创 elasticsearch安裝及常見錯誤

1、下載 https://www.elastic.co/downloads 2、配置 修改配置文件,詳情見 https://www.elastic.co/guide/en/elasticsearch/reference/current/s

原创 chrome 應用程序無法啓動,因爲應用程序的並行配置不正確

某天電腦關機重啓後,Google Chrome報出以下錯誤:C:\Users\Administrator\AppData\Local\Google\Chrome\Application\chrome.exe

原创 MD5算法

MD5的全稱是Message-Digest Algorithm 5(信息-摘要算法),是基於消息摘要原理的,消息摘要的基本特徵就是很難根據摘要推算出消息報文。 消息摘要(Message Digest)又稱爲數字摘要(Digital D