原创 Apache Hive+Kerberos安裝配置及 Kettle訪問帶 Kerberos 認證的 Hive的集成

目錄1 連接2 KDC 安裝2.1 安裝 Kerberos 服務2.2 配置 /var/kerberos/krb5kdc/kdc.conf2.3 配置 /var/kerberos/krb5kdc/kadm5.acl2.4 配置 /

2020-07-08 09:55:10 16

原创 基於 Docker 的幾種常用 CentOS7 鏡像

目錄1 安裝 Docker2 配置國內鏡像源3 製作中文環境基礎版Centos7鏡像3.1 Dockerfile3.2 啓動容器3.3 在容器中安裝配置一些基礎服務3.4 SSH3.5 【可選】修改容器配置3.5.1 通過容器的配

2020-07-08 09:55:10 10

原创 工作流任務調度系統：Apache DolphinScheduler

官網     |     GitHub         目錄 1 概述 1.1 背景 1.2 特點 2 系統架構 2.1 名詞解釋 2.2 架構 3 部署 3.1 後端部署 3.1.1 基礎軟件安裝 3.1.

2020-06-20 09:55:47 53

原创 Phoenix的搭建和使用

Phoenix詳細的信息可以查看： 官網     |     apache/phoenix |     Download     |     Performance     |     支持的SQL語法 CDH6中集

2020-06-20 08:51:42 15

原创 關於 ClickHouse 更新數據的一次嘗試

1 需求 假如現在想將表B的數據在滿足一定條件時將其某個值更新到表A，如果是MySQL，實現該業務的語法可能如下： UPDATE A,B set A.field1=B.field1 where filter_expr; 2 一個

2020-06-20 08:51:42 8

原创 Impala 和 Presto 概述及JDBC

目錄 一、Impala 1.1 Overview 1.2 數據類型 1.3 其他 1.4 Impala JDBC 1.4.1 Pom 1.4.2 Code 二、Presto 2.1 Overview 2.2 Pr

2020-06-20 08:51:42

原创 CDH 6.2.0 或 6.3.0 安裝實戰及官方文檔資料鏈接

Download CDH 6.2.0  |  Detailed CDH 6.2.x Installation Guide  |   Cloudera Manager 6.2.0  |   CDH 6.2.x Downlo

2020-06-20 07:46:46

原创 Apache Kylin的安裝和使用

官網    |     GitHub    |     文檔    |     下載 目錄 1 概覽 1.1 Kylin是什麼 1.2 Kylin的特性 1.3 使用 Apache Kylin 的典型場景 1.4 K

2020-06-20 07:46:46 2

原创 Kerberos簡介、安裝及與其它服務的集成和使用

目錄 1 簡介 1.1 官方文檔連接 1.2 A guided tour of Kerberos: Tutorial 2 安裝 2.1 下載 2.2 KDC 節點的安裝 2.2.1 安裝 2.2.2 配置 /var/k

2020-06-20 07:46:46 55

原创 Flink Streaming (DataStream API) Operators - Windows

Application Development / Streaming (DataStream API) / Operators / Windows Windows Windows是處理無限流的核心。Windows將流拆分爲有限大

2020-06-20 07:46:34

原创 Spark 中DataFrame數據的行轉列

1 需求 在做數據處理時我們可能會經常用到 Apache Spark 的 DataFrame來對數據進行處理，需要將行數據轉成列數據來處理，例如一些指標數據一般會保存在KV類型數據庫，根據幾個字段作爲key，將計算指標作爲valu

2020-06-20 07:46:34

原创 Beeline 的進階使用

目錄 1 Beeline 簡介 2 Beeline 使用樣例 3 Beeline 命令參數說明 3.1 Beeline 命令項 3.2 Beeline 命令 3.3 Beeline Hive 命令 4 Beeline 輸出

2020-06-20 07:46:29 27

原创 A guided tour of Kerberos: Tutorial

爲了更好的理解 Kerberos 中的概念和認證的大體流程，這篇文檔是快速瞭解 Kerberos 的一篇非常棒的指南教程，原文地址爲 KERBEROS PROTOCOL TUTORIAL，也可以直接訪問原文地址查看。 This

2020-06-20 07:46:29 4

原创 大數據的分佈式SQL查詢引擎 -- Presto的詳細使用

Presto – Distributed SQL Query Engine for Big Data 官網 項目源碼 官方文檔 目錄 1 Presto 概述 2 概念 2.1 服務進程 2.2 數據源 2.3 查詢執行模型

2020-06-01 11:12:18 3

原创 Windows/Mac系統Docker方式安裝Mysql

一、Mac系統下Docker安裝 訪問docker官網：https://www.docker.com/get-started 下載Mac版，下載時需要我們登陸Docker賬號，因此我們需要先註冊一個Docker賬號，這個賬號在後面啓動應用

2020-06-01 11:12:18