台部落stable

1. hive metastroe 的問題這個問題最早的時候是在啓動 hive 的時候遇到的，當時報錯是：我把 hive-site.xml 中的這部分配置註釋掉之後就不再報錯了，但是會在啓動 hive 的時候有警告，當時把這個

2020-07-04 02:34:51

文章目錄前言一、大家共同完成的部分二、分工部分2.1 張志浩、趙磊：數據庫建表、Flume 配置的學習2.1.1 數據庫建表結果2.1.2 Flume 配置的學習2.2 王闊：Web 部分的 demo 編寫前言大家好，我

2020-06-24 20:02:57

一、Source Source 類型介紹使用場景 Avro Source 監聽Avro端口並從外部Avro客戶端流接收事件。與另一個（以前的躍點）Flume代理上的內置Avro Sink配對時，它可以創建分層的

2020-06-24 20:02:57

一、作業背景這次作業完成了一個風機監控系統，使用到的技術有 Kafka，Storm，Hbase，SpringBoot 和 Echarts。 Kafka 負責讀取數據，Storm 負責把數據進行清洗，把清洗結果寫到 Hbase

2020-06-16 08:22:24

一、什麼是 Hbase Hbase 是一個構建在 Hadoop 之上的高可用、高性能、多版本的分佈式 NOSQL 數據庫。二、Hbase 的特點 2.1、與 hdfs 對比 Hbase 是構建在 Hadoop 之上的，H

2020-06-16 08:22:24

一、Hive 是什麼 Hive 是構建在 Hadoop 之上的數據倉庫平臺；它通過 SQL 解析引擎把 SQL 語句轉譯成 MapReduce 作業，並在 Hadoop 上運行；Hive 表是 HDFS 的文件目錄，一個表對應

2020-06-16 08:22:24

MapReduce 工作流程詳解一、MapTask 的工作機制總體可概括爲如下流程： 1、client 向集羣提交任務，指定了分片個數 n 2、集羣啓動 n 個 maptask 3、maptask 通過 RecordRead

2020-06-16 08:22:24

文章目錄前言一、背景二、名詞解釋三、設計目標3.1 實現功能3.2 性能指標Ⅰ.數據精確度Ⅱ.時間特性Ⅲ.適應性四、系統環境4.1 相關軟件和硬件4.2 數據規模預估五、系統設計5.1 基礎介紹5.2 系統架構圖5.3 系統流程圖

2020-06-16 08:22:24

文章目錄前言v1版本的前端界面模塊參考趙磊：整體趨勢、用戶分析1、概況1.1、整體趨勢2、用戶分析2.2、活躍用戶（其他界面大同小異，不貼圖了）王闊：留存分析、終端屬性分析1、留存分析1.1、留存用戶1.2、用戶新鮮度1.3、用戶

2020-06-16 08:22:23

文章目錄前言一、實訓要求二、項目選題三、項目簡介四、用到的技術前言大家好，我是東北大學大數據班的一名學生，我們在 5 月 25 日開始了爲期 2 個月的實訓，我們小組由三個同學組成，大家都想通過這個項目來提高自己的能力，可以

2020-06-16 08:22:23

文章目錄前言1、引言1.1目的1.2項目背景1.3縮寫說明1.4術語定義1.5參考資料1.6版本信息2、任務概述2.1系統定義2.1.1項目背景2.1.2項目要達到的目標2.1.3系統整體結構2.1.4系統各部分組成，與其他部分的

2020-06-16 08:22:23

一、死鎖概述 1.1 什麼是死鎖如果一個進程集合中的每隔進程都在等待只能由該進程集合中的其他進程才能引發的事件，那麼，該進程就是死鎖的。在大多數情況下，每個進程等待的事件是釋放該進程集合中其他進程所佔有的資源。比如：A

2020-06-16 08:22:23

一、CPU 管理的直觀想法 CPU 的工作原理就是取指執行，但如果遇到 IO 操作，那麼 CPU 將等待 IO 的完成，IO 操作的速度很慢，V(cpu) ：V(IO) = 10^6：1，也就是說，執行一個 IO 操作，CPU

2020-05-20 20:55:55

一、操作系統接口操作系統接口是連接操作系統和應用軟件的函數，表現爲系統調用二、系統調用 2.1 什麼是系統調用根據進程訪問資源的特點，可以把進程在系統上的運行分爲兩個級別：用戶態：可以直接讀取用戶程序的數據的進程

2020-05-20 20:55:55

一、YANR 架構圖中一共有 2 大塊元素，一塊是 ResourceManager，一塊是 NodeManager 。 ResourceManager：可以看到，ResourceManager 是負責資源的管理與調度，再

2020-05-20 20:55:55