原创 Hadoop環境搭建(單機)
一、環境選擇 1,服務器選擇 阿里雲服務器:入門型(按量付費) 操作系統:linux CentOS 6.8 Cpu:1核 內存:1G 硬盤:40G ip:39.108.77.250 2,配置選擇 JDK:1.8 (jdk-8u144-li
原创 Ambari部署
https://www.cnblogs.com/langfanyun/category/1391919.html https://blog.csdn.net/weixin_40809627/article/details/82707266
原创 hadoop 各個版本下載地址。
https://archive.apache.org/dist/hadoop/common/
原创 Spark分區方式詳解
一、Spark數據分區方式簡要 在Spark中,RDD(Resilient Distributed Dataset)是其最基本的抽象數據集,其中每個RDD是由若干個Partition組成。在Job運行期間,參與運
原创 flink教程
flink教程地址 https://flink.sojb.cn/tutorials/local_setup.html 在 Windows 上安裝和運行 Flink https://www.liujiajia.me/2019/9/4/ins
原创 JSch基本使用
JSch 是SSH2的一個純Java實現。它允許你連接到一個sshd 服務器,使用端口轉發,X11轉發,文件傳輸等等。你可以將它的功能集成到你自己的 程序中。同時該項目也提供一個J2ME版本用來在手機上直連SSHD服務器。 官網:http
原创 flink-Accumulator(累加器)
概念 Accumulator(累加器):累加器主要作用在用戶操作(operate)中收集分佈式統計信息或聚合信息。每個並行實例創建並更新其自己的累加器對象,不同並行實例的累加器由系統作業結束後合併。結果可以從作業執行的結果中獲得,也可以從
原创 CentOS7 查看硬盤情況
lsblk 查看分區和磁盤 df -h 查看空
原创 Kerberos原理和工作機制
原文鏈接:https://blog.csdn.net/lovebomei/article/details/80004277 1.Kerberos原理和工作機制 概述:Kerberos的工作圍繞着
原创 zip操作
package task.zip; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.FileInputStream;
原创 linux利用crontab定時執行java代碼(jar)
原文鏈接:https://blog.csdn.net/huihuiph/article/details/80263374 這是在上一篇博客https://blog.csdn.net/huihui
原创 kettle詳解(數據抽取、轉換、裝載)
原文鏈接:https://blog.csdn.net/qq_35731570/article/details/71123413 一:下載路徑 當你要學習一個工具時,往往一開始就找不到下載路徑,也
原创 Linux下Centos7對外開放端口
原文鏈接:https://blog.csdn.net/realjh/article/details/82048492 概要 最近在docker下搭建MySQL和Redis環境,遠程linux主
原创 Elasticsearch實戰(五):外網訪問Elasticsearch
原文鏈接:https://blog.csdn.net/xiaoyu_bd/article/details/82526514 AWS aws的話比較簡單了,內網對應的都有外網映射,我們需要外網訪問
原创 linux定時執行shell腳本
原文鏈接:https://blog.csdn.net/qq_39131177/article/details/79051711 Shell俗稱殼,類似於DOS下的command和後來的cmd.e