原创 第三記·Hadoop 2.x 僞分佈式環境搭建
Hadoop 2.x 僞分佈式環境搭建 XY個人筆記Linux 01 中分配opt文件權限給普通用戶$ sudo chown ijeffrey:ijeffrey -R /opt/在opt中創建兩個文件夾，並將兩個tar上傳到softwar
2020-06-16 01:39:02
原创 第四記·YARN配置以及啓動、歷史服務配置啓動
YARN與歷史服務配置 XY個人筆記任務調度 （Mapreduce） 資源管理（resourcemanager nodemanager）【Yarn架構】主從架構： 主節點ResourceManager 從節點NodeMana
2020-06-16 01:38:52
原创 第一記·虛擬機安裝Linux以及網絡配置
虛擬機創建過程以及網絡配置XY個人筆記第一步:點擊創建虛擬機第二步：選擇典型->下一步第三步：如圖下一步第四步：個人選擇安裝的爲CentOS 64 位第五步：設置虛擬機名稱、位置第六步：根據個人情況分配磁盤第七步：完成第八步：選擇自己的虛
2020-06-16 01:38:52
原创 第二記·虛擬機克隆
虛擬機克隆： XY個人筆記 第一步： 克隆虛擬機時要記得關閉被克隆的虛擬機，否則無法進行克隆 第二步： 下一步 下一步： 選擇創建完整克隆 下一步： 選擇自己路徑和更改自己的名稱 點擊完成。 第三步； 配置虛擬機網
2020-06-16 01:38:52
原创 Redis安裝配置及開機啓動後臺運行
Window 下安裝 下載地址：https://github.com/MSOpenTech/redis/releases Redis 支持 32 位和 64 位。這個需要根據你係統平臺的實際情況選擇，這裏我們下載 Redis-x6
2020-06-16 01:38:51
3
原创 第二十三記·Spark Core詳解
XY個人記 Apache Spark是專爲大規模數據處理而設計的快速通用的計算引擎 。現在形成一個高速發展應用廣泛的生態系統。 官網地址：http://spark.apache.org/ Spark，擁有Hadoop MapReduc
2020-06-16 01:38:51
原创 Hive中集合數據類型Struct，Map和Array
Hive中的列支持使用struct，map和array集合數據類型。下表中的數據類型實際上調用的是內置函數。 Hive集合數據類型 數據類型 描述 字面語法示例 STRUCT 數據類型描述字面語法示例和C語言中的struct或者“對象”類
2020-06-16 01:38:51
原创 Idea啓動spring boot 項目不報錯直接退出解決辦法
今天用idea啓動spring boot的項目遇到個非常奇異的現象，啓動後不報錯直接退出。有問題不報錯是讓程序員最頭疼的問題。 2019-05-28 11:04:56.819 INFO 9340 --- [ main
2019-06-11 16:33:46
7
原创 冷備份,雙機熱備份,異地容災備份,雲備份,災難演練,NAS,QOS,超算集羣的簡易理解
很多人對熱備，冷備，雲備瞭解不深，我科普一下IT行業各種備份術語。以後別鬧笑話了。 假設你是一位女性，你有一位男朋友，於此同時你和另外一位男生曖昧不清，比朋友 好，又不是戀人。你隨時可以甩了現任男友，另外一位馬上就能補上。這是冷備份。 假
2019-02-19 06:49:18
原创 大數據重點知識總結
主要總結一下Hadoop、Hive、HBASE、Spark的要點。 首先Hadoop，說道hadoop他的核心就是MapReduce，就MapReduce的執行步驟來說主要如下： ☆☆☆MapReduce的執行步驟： 1、Map任務處理
2018-12-28 18:05:18
原创 九種高性能高可用高併發的技術架構
1、分層 分層是企業應用系統中最常見的一種架構模式，將系統在橫向維度上切分成幾個部分，每個部分負責一部分相對簡單並比較單一的職責，然後通過上層對下層的依賴和調度組成一個完整的系統。 在網站的分層架構中，常見的爲3層，即應用層、服務層、數據
2018-12-07 16:59:51
原创 Hive中集合數據類型struct，map和array
Hive中的列支持使用struct，map和array集合數據類型。下表中的數據類型實際上調用的是內置函數。 Hive集合數據類型 數據類型 描述 字面語法示例 STRUCT 數據類型描述字面語法示例和C語言中的struct或者“對象”類
2018-11-04 02:21:52
原创 第二十七記·Java操作Kafka實戰案例
XY個人記 首先要啓動kafka的所有服務，本人配置了0-3 四個服務，啓動命令如下： $ bin/kafka-server-start.sh -daemon config/server1.properties $ bin/kafka-
2018-09-26 01:49:39
3
原创 第二十六記·Kafka介紹及安裝 使用
XY個人記 概述 Kafka是一個開源流處理平臺，它允許發佈和訂閱記錄流。在這方面，它類似於消息隊列或企業消息傳遞系統。Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏
2018-09-17 06:45:24
原创 第二十四記·Spark SQL配置及使用
XY個人記 SparkSQL是spark的一個模塊，主入口是SparkSession，將SQL查詢與Spark程序無縫混合。DataFrames和SQL提供了訪問各種數據源（通過JDBC或ODBC連接）的常用方法包括Hive，Avro，P
2018-09-13 09:51:20