原创 clickhouse 性能測試
注意：本測試使用的是官網的數據集，由於官網聚合操作太多過濾，所以寫了一些沒有過濾的聚合操作，本測試屬於極限測試，真實業務中的聚合操作肯定會有很多過濾操作的 一.表的創建和數據導入 創建表：必須在每個節點創建表，ddl 沒有同步 cre
2018-09-21 10:05:33
1
原创 clickhouse 部署
一.單機版 sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 # optional echo "deb http://repo.yandex.ru/
2018-09-21 10:05:33
1
原创 hadoop小文件過多引起的負載過高
一.場景描述 系統運行一段時間後，總是報負載過高的警告 告警等級: Warning 告警信息: Processor load is too high on hadoopmaster 告警項目: system.cpu.load[
2018-09-03 19:09:35
原创 es 常用命令
1.簡單的集羣管理 GET /_cat/health?v GET /_cat/indices?v 2.CRUD操作 # 增 PUT /ecommerce/product/1 { "name" : "gaolujie yagao
2018-09-03 19:09:35
3
原创 es query string
1、query string基礎語法 GET /test_index/test_type/_search?q=test_field:test GET /test_index/test_type/_search?q=+test_field
2018-09-03 19:09:35
4
原创 定時任務的兩種方式
定時任務的兩種方式 方式一：定時任務 並 打印日誌 並 在後臺運行 #1.定時任務 30 0 * * * nohup sh /home/hduser/projs/gamepublish_performance.sh 2.gamepu
2018-09-03 19:09:35
原创 es 批量操作—mget
1、批量查詢的好處 就是一條一條的查詢，比如說要查詢100條數據，那麼就要發送100次網絡請求，這個開銷還是很大的 如果進行批量查詢的話，查詢100條數據，就只要發送1次網絡請求，網絡請求的性能開銷縮減100倍 2、mget的語法 （1）
2018-09-03 19:09:35
原创 es partial update
1、什麼是partial update？ PUT /index/type/id，創建文檔&替換文檔，就是一樣的語法 一般對應到應用程序中，每次的執行流程基本是這樣的： （1）應用程序先發起一個get請求，獲取到document，展示到前臺
2018-09-03 19:09:35
原创 es 批量操作—bulk
1、bulk語法 有哪些類型的操作可以執行呢？ （1）delete：刪除一個文檔，只要1個json串就可以了 （2）create：PUT /index/type/id/_create，強制創建 （3）index：普通的put操作，可以是創
2018-09-03 19:09:35
2
原创 es 幾個重要的底層原理相關概念
1、Elasticsearch對複雜分佈式機制的透明隱藏特性 分片機制 shard副本 集羣發現機制 shard負載均衡 2、Elasticsearch的垂直擴容與水平擴容 垂直擴容：採購更強大的服務器，成本非常高昂，而且會有瓶頸，假設
2018-09-03 19:09:35
原创 hive索引數據 mysql數據遷移
需求：新建的集羣，需要把原集羣的hive遷移到新的集羣，hdfs數據已經遷移，下面是遷移mysql索引數據的方法 注意：本方法中mysql是yum安裝的，hive索引數據的賬戶：hive，密碼：hive 1.1 備份原集羣的數據 [
2018-09-03 19:09:35
原创 spark 歷史和實時任務日誌監控
一.spark on yarn historyserver（運行完畢日誌） 1.配置yarn日誌參數:yarn-site.xml <property> <name>yarn.log-aggregation-enabl
2018-09-03 19:09:35
原创 es 分詞器
課程大綱 1、什麼是分詞器 切分詞語，normalization（提升recall召回率） 給你一段句子，然後將這段句子拆分成一個一個的單個的單詞，同時對每個單詞進行normalization（時態轉換，單複數轉換），分瓷器 recall
2018-09-03 19:09:35
原创 Rdd的 foreach 和 foreachPartition
一.代碼 package com.xiaopeng.test import java.sql.Connection import com.xiaopeng.bi.utils.{JdbcUtil, SparkUtils
2018-09-03 19:09:35
原创 es groovy腳本
1.數據準備 PUT /test_index/test_type/11 { "num": 0, "tags": [] } 2.內置腳本實現 partial update POST /test_index/test_type/1
2018-09-03 19:09:35