原创 TIDB安裝
所有機器添加tidb用戶，添加sudo權限 useradd tidb passwd tidb touch /etc/sudoers.d/tidb echo 'tidb ALL=(ALL) NOPASSWD: ALL' >/e
2020-07-05 18:03:49
原创 微服務學習核心關鍵點
1.微服務的服務治理 當我們架構微服務應用時首先遇到的一個問題是,作爲消費者如何訪問並調用服務提供者所提供 的服務，作爲服務提供者如何能讓服務消費者知道並進行消費。在傳統應用開發時，通常是在開 發語言層面上解決這個問題，可能我們
2020-06-28 00:15:56
原创 spark讀寫Elasticsearch
關於scala代碼和Elasticsearch集成已經很常見了 直接一個maven配置 <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elastic
2020-06-28 00:15:56
18
原创 ES源碼之路(一)：源碼本地編譯啓動
ES源碼之路(一)：源碼本地編譯啓動 先來一段客套話，介紹一下ES： ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎，基於RESTful web接口。Elasticsearch是用
2020-06-28 00:15:56
原创 Hive優化實踐
不管是對於流行的分佈式數據計算框架（如離線的 MapReduce、流計算 Storm、 迭代內 存計算 Spark），還是分佈式計算框架新貴（如 Flink、 Beam），抑或是商業性的大數據解決 方案（如 Teradata 數據
2020-06-28 00:15:56
原创 高併發基礎：高併發IO的底層原理
寫在前面：本文是拜讀了《Netty、Redis、Zookeeper高併發實戰》後整理的筆記或者想法 1.IO讀寫的基礎原理 說到IO，肯定就是讀和寫(read/write)，這裏有一個和我們想象的不一樣的是，代碼調用read並不是直接從物
2020-02-20 23:53:27
原创 什麼是HTTP？爲什麼是不安全的？
我們在輸入網址的時候一般是www.baidu.com，瀏覽器都會自動幫我們加上HTTP或者HTTPS這樣的前綴，國內對於HTTPS講解的書很少，最近有空拜讀了《深入淺出https：從原理到實戰》這本書，接下來會分幾次表述一下對於這本書的一
2020-02-20 23:53:27
原创 hive數據壓縮和sql執行測試
1.創建庫 create database hivetest; hive默認有一個default庫，不指定庫名的話，所有的表都在裏面 hive> show databases; default hivetest 2.建表 建表語句基本
2019-03-06 19:30:54
原创 Hbase資源管理 Quotas
生產中，每個業務之間的重要性是不一致的，每個業務的數據量、讀寫需求也不一致，在1.1之前，一個集羣中往往有很多個業務，有的同學可以執行一個耗時的scan操作，整個集羣的資源被大量佔用，其它非常重要的業務就被擠壓的資源，造成一系列的事故，所
2019-01-11 01:55:56
原创 StructuredStreamingInSQL項目實現動態更新 新版(直接替換，無需重啓)。
CREATE TABLE kafkaTable( word string )WITH( type='kafka', kafka.bootstrap.servers='kafka001:9092', pro
2019-01-04 03:30:49
原创 StructuredStreamingInSQL項目SQL的動態添加
改變sql語句而不用重啓項目實現更新 目前只實現了動態添加，動態刪除待實現 kafka的配置爲 CREATE TABLE kafkaTable( word string, wordcount int )WITH(
2018-12-18 01:35:21
原创 SQL實現Structured Streaming
需要的配置只有一個sql文件 1.實現socket輸入 console輸出 配置： CREATE TABLE SocketTable( word String, valuecount int )WITH( typ
2018-12-13 01:57:16
原创 HIVE的十項企業級調優
原文地址：https://blog.csdn.net/Superman404/article/details/84074771 話不多說直接上貨。。。。。。。。。。。。。。。。。。。。。。。。。。。 1.Fetch抓取 set hive
2018-11-26 10:58:46
原创 kudu 1.7 源碼安裝
kudu 1.7 源碼安裝 一. 安裝環境依賴 yum install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi \ cyrus-sasl-plain flex gcc
2018-11-26 10:58:46
8
原创 Nginx配置hbaseweb轉發
目標 爲了公司集羣的安全考慮，hadoop和hbase的web訪問只能供有限的人訪問 而要實現內網機器給外網訪問，要解決的問題是： 1.hadoop、hbase頁面上的url替換成外網能訪問的url 2.通過有限的端口、外網ip對外提
2018-11-19 22:21:49