原创 Hadoop環境搭建(單機)

一、環境選擇 1,服務器選擇 阿里雲服務器:入門型(按量付費) 操作系統:linux CentOS 6.8 Cpu:1核 內存:1G 硬盤:40G ip:39.108.77.250 2,配置選擇 JDK:1.8 (jdk-8u144-li

原创 Ambari部署

https://www.cnblogs.com/langfanyun/category/1391919.html https://blog.csdn.net/weixin_40809627/article/details/82707266

原创 hadoop 各個版本下載地址。

https://archive.apache.org/dist/hadoop/common/

原创 Spark分區方式詳解

一、Spark數據分區方式簡要              在Spark中,RDD(Resilient Distributed Dataset)是其最基本的抽象數據集,其中每個RDD是由若干個Partition組成。在Job運行期間,參與運

原创 flink教程

flink教程地址 https://flink.sojb.cn/tutorials/local_setup.html 在 Windows 上安裝和運行 Flink https://www.liujiajia.me/2019/9/4/ins

原创 JSch基本使用

JSch 是SSH2的一個純Java實現。它允許你連接到一個sshd 服務器,使用端口轉發,X11轉發,文件傳輸等等。你可以將它的功能集成到你自己的 程序中。同時該項目也提供一個J2ME版本用來在手機上直連SSHD服務器。 官網:http

原创 flink-Accumulator(累加器)

概念 Accumulator(累加器):累加器主要作用在用戶操作(operate)中收集分佈式統計信息或聚合信息。每個並行實例創建並更新其自己的累加器對象,不同並行實例的累加器由系統作業結束後合併。結果可以從作業執行的結果中獲得,也可以從

原创 CentOS7 查看硬盤情況

lsblk         查看分區和磁盤 df -h       查看空

原创 Kerberos原理和工作機制

原文鏈接:https://blog.csdn.net/lovebomei/article/details/80004277 1.Kerberos原理和工作機制 概述:Kerberos的工作圍繞着

原创 zip操作

package task.zip; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.FileInputStream;

原创 linux利用crontab定時執行java代碼(jar)

原文鏈接:https://blog.csdn.net/huihuiph/article/details/80263374 這是在上一篇博客https://blog.csdn.net/huihui

原创 kettle詳解(數據抽取、轉換、裝載)

原文鏈接:https://blog.csdn.net/qq_35731570/article/details/71123413 一:下載路徑 當你要學習一個工具時,往往一開始就找不到下載路徑,也

原创 Linux下Centos7對外開放端口

原文鏈接:https://blog.csdn.net/realjh/article/details/82048492 概要 最近在docker下搭建MySQL和Redis環境,遠程linux主

原创 Elasticsearch實戰(五):外網訪問Elasticsearch

原文鏈接:https://blog.csdn.net/xiaoyu_bd/article/details/82526514 AWS aws的話比較簡單了,內網對應的都有外網映射,我們需要外網訪問

原创 linux定時執行shell腳本

原文鏈接:https://blog.csdn.net/qq_39131177/article/details/79051711 Shell俗稱殼,類似於DOS下的command和後來的cmd.e