原创 Zookeeper 基本操作
Zookeeper 基本操作 文章目錄Zookeeper 基本操作1 查看zk的運行狀態2 客戶端連接zk3 ls 查看4 get 獲取節點數據和更新信息5 stat 獲得節點的更新信息6 ls2 ls命令和stat命令的整合7
2020-07-02 23:00:59
原创 pivotMaxValues報錯
1、出現錯誤的操作 在列轉行且用指定的列的值填充時報錯，且列轉行的字段個數超過10000個；2、具體錯誤Exception in thread "main" org.apache.spark.sql.AnalysisExceptio
2020-05-31 20:16:56
原创 LZ77算法壓縮和解壓縮
LZ77簡介 Ziv和Lempel於1977年發表題爲“順序數據壓縮的一個通用算法（A Universal Algorithm for Sequential Data Compression ）”的論文，論文中描述的算法被後人稱爲LZ77
2020-05-19 10:16:13
3
原创 Mac pycharm 導入pyspark
轉載於：點擊打開鏈接1 前提：已經安裝了pycharm，下載了spark（官網下載，我下的是spark-2.1.1-bin-hadoop2.7.tgz，解壓縮後爲文件夾spark-2.1.1-bin-hadoop2.7，我將文件放在了/A
2020-02-22 16:25:44
原创 史上最全的Maven Pom文件標籤詳解
<span style="padding:0px; margin:0px"><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www
2019-03-23 00:31:06
2
原创 Redis 入門
前言 redis作爲nosql家族中非常熱門的一員，也是被大型互聯網公司所青睞，無論你是開發、測試或者運維，學習掌握它總會爲你的職業生涯增色添彩。 當然，你或多或少已經瞭解redis，但是你是否瞭解其中的某些細節，本片文章將詳細介紹red
2019-03-23 00:31:06
原创 Kerberos
1. Kerberos簡介 1.1. 功能 一個安全認證協議 用tickets驗證 避免本地保存密碼和在互聯網上傳輸密碼 包含一個可信任的第三方 使用對稱加密 客戶端與服務器（非KDC）之間能夠相互驗證 Kerb
2019-03-20 00:27:47
原创 Mysql GROUP_CONCAT(expr) 介紹
1、MYSQL版本 \Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 86693 Server version:
2018-12-07 18:14:56
原创 ElasticSearch 升級過程中給涉及到的術語-3 事務日誌-Translog
1、事務日誌介紹 只有在luncene commit以後，luncene的改變纔會被持久化，這是一個相對開銷很大的操作，因而不能在每個索引後或者刪除操作後執行； 在一次提交之後和另一次提交之前發生的更改將在進程退出或硬件故
2018-11-30 13:50:09
15
原创 ElasticSearch跨版本數據升級1.4.1-2.4.1
需求：Es版本數據升級:1.4.1-2.4.1 1.4.1 版本數據200W條數據； [root@dmp9 wangzhanpeng]# curl dmp9:9201/_cat/indices?v health status index
2018-11-28 13:06:26
原创 elasticsearch-migration 跨集羣數據遷移
這個工具正好srcoll+bulk原理，進行數據遷移，該工具安裝簡單，解壓即可使用。 scroll查詢:es深度分頁查詢，基於http請求，可以查詢索引下所有數據，不會有from+size不能大於1w的問題。 bulk請求:可以批量插入數
2018-11-28 13:06:26
原创 ElasticSearch 升級過程中給涉及到的術語-1、同步刷新synced flush
Es 會跟蹤每個活動分片的索引，分片在五分鐘內如果沒有收到任何有關索引的操作，則認爲分片不活動了；這將給Es機會去減小分片的資源，同時執行一種特殊刷新，成爲：同步刷新；同步刷新也是執行普通的刷新，然後給所有的分片添加一個不同的標記；
2018-11-28 13:06:26
26
原创 ElasticSearch 升級過程中給涉及到的術語-2、API cat recovery
recovery命令用於查看索引分片的恢復情況，無論是正在進行中的還是已經完成的所有情況；它是JSON recovery API的更緊湊的顯示；當集羣中一個索引分片被移動到另一個不同的節點時，recovery事件就會發生；在閃照恢復、
2018-11-28 13:06:26
原创 Impala安裝
一、下載文件（本文選擇2.5.0） 地址：http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/5.7.0/RPMS/x86_64/ 二、安裝過程 1、安裝bigtop-jsvc-0.6
2018-11-22 05:46:33
35
原创 ElasticSearch 基本信息查看
1.查看集羣的健康狀態。 http://127.0.0.1:9200/_cat/health?v URL中_cat表示查看信息，health表明返回的信息爲集羣健康信息，?v表示返回的信息加上頭信息，跟返回JSON信息加上?pretty
2018-11-13 22:53:54