原创 Spark之standalone集羣模式(3)

standalone集羣模式 鐵子話不多說,開整 ↓↓↓↓↓↓ 1、集羣角色介紹 standalone獨立集羣模式–開發測試使用 Spark是基於內存計算的大數據並行計算框架, 實際中運行計算任務肯定是使用集羣模式, 那麼我們先

原创 Scala基礎操作(1)———Scala解釋器,聲明變量,字符串

前一段時間給大家簡單介紹了Scala以及Scala的環境安裝,還沒看的小夥伴可以先去看一看,把環境配置好。 Scala快速入門簡介——(一) Scala之開發環境安裝——(二) 一定要先去看這兩篇,配置好環境,纔可以進行操作哦!!

原创 你需要了解的Redis當中的Sentinel架構(七)

上篇文章Redis的主從複製架構你需要了解!(六)中最後的一個問題大家知道答案嗎? 下面讓我來給大家解答吧!!! 若主節點宕機,將無法寫數據到redis。 如何解決呢? 答案:引入哨兵機制,當主節點宕機時,哨兵會在從節點中選取一個

原创 Redis的持久化你還不知道呢吧?(五)

上一篇本博主給小夥伴們普及的是Redis的Java API操作你學會了嗎?(四),接下來本博主給大家講解一下Redis的持久化是怎麼個事!!!!!! Redis的持久化 由於redis是一個內存數據庫,所有的數據都是保存在內存當中

原创 Redis數據類型以及基本操作你知道嗎?(三)

想學會操作Redis,請大家先把Redis環境配置好,不會配置的小夥伴推薦你去看看上一篇哦 帶你快速安裝部署Redis (二) Redis的數據類型 redis當中一共支持五種數據類型,分別是string字符串類型,list

原创 帶你快速安裝部署Redis (二)

相信大家看了上一篇文章 快速認識Redis(一),對Redis都有所瞭解啦吧,下面小生帶領大家快速安裝部署一下環境吧!!!!!! Redis 安裝部署 redis包鏈接 提取碼:g60y 第一步:下載redis安裝包 node0

原创 快速帶你搭建Hadoop的HA集羣!(確定不來看看嗎?)

相信大家在看了前面一篇《Hadoop High Availability (高可用)詳細講解》之後,大家一定在想怎麼搭建Hadoop HA的集羣呢? 不要着急 ,小生接下來就帶大家快速搭建一下(#.#)。 小生碼字不易啊,各位先給

原创 Linux修改IP

進入設置 我這裏用的是CRT 顯示的是中文 查看是否對應 重啓後生效

原创 Linux關閉防火牆

命令操作: 查看防火牆的狀態 service iptables status 啓動防火牆服務 service iptables start 重啓 防火牆 服務 service iptables restart 停止 防

原创 Linux集羣時間同步操作

聯網狀態下與互聯網上提供的時鐘服務器進行同步 同步命令 : ntpdate ntp4.aliyun.com 配置離線狀態下的時鐘同步 設置時鐘同步服務器的時間(node04 2012-12-12 12:12:12)

原创 SSH免密登錄操作

有兩種方式 方式一:使用 ssh 基於密碼的遠程登錄 ssh ip地址 遠程登錄到指定服務器上(必須知道正確的密碼) 方式二:使用 ssh 基於密匙 實現 免密碼登錄(掌握) 目標:node01免密碼登錄到node01 n

原创 Hadoop High Availability (高可用)詳細講解

一、Hadoop High Availability 簡介 HA(High Available), 高可用,是保證業務連續性的有效解決方案,一般有兩個或兩個以上的節點,分爲活動節點(Active)及備用節點(Standby)。通常

原创 Apache Hadoop Yarn 調度器(二)

Yarn 調度器Scheduler 簡介 理想情況下,我們應用對Yarn資源的請求應該立刻得到滿足,但現實情況資源往往是有限的,特別是在一個很繁忙的集羣,一個應用資源的請求經常需要等待一段時間才能的到相應的資源。 在Yarn中,負

原创 Apache Hadoop Yarn 入門(一)

1.Yarn的通俗介紹 Apache Hadoop Yarn (Yet Another Resource Negotiator,另一種資源協調者),是一種新的 Hadoop 資源管理器,它是一個通用資源管理系統和調度平臺,可爲

原创 後端Scala入門簡介

scala簡介 scala是運行在`JVM`上的多範式編程語言,同時支持面向對象和麪向函數編程 早期,scala剛出現的時候,並沒有怎麼引起重視,隨着Spark和Kafka這樣基於scala的 大數據框架的興起,scala逐步進