原创 阿里雲部署Python Web -- Django+Nginx+uwsgi

1.首先安裝框架 sudo pip3 install django==1.8   安裝django框架,我選擇了1.8版本 sudo pip3 install uwsgi              安裝uwsgi sudo apt-get

原创 Flume Channel配置

Memory Channel 事件將被存儲在內存中的具有指定大小的隊列中。特點是速度快,但斷電丟失數據。非常適合那些需要高吞吐量但是可以容忍極端情況下會丟失數據的場景下。 a1.channels.c1.type = memory(組件的類

原创 Flume Sink配置

Logger Sink 記錄指定級別的日誌,通常用於調試。 # 配置sink a1.sinks.k1.type = logger(組件的類型名稱,必須配置爲Logger) File Roll Sink 在本地文件系統中存儲事件。每隔指定時

原创 Sqoop初體驗

Sqoop介紹 Sqoop 工作機制是將導入或導出命令翻譯成 mapreduce 程序來實現。在翻譯出的 mapreduce 中主要是對 inputformat 和 outputformat 進行定製. Hadoop 生態系統包括: HD

原创 Hive初體驗(原理-概念)

元數據 元數據(Metadata),又稱中介數據、中繼數據,爲描述數據的數據(data about data),主要是描述數據屬性(property)的信息,用來支持如指示存儲位置、歷史數據、資源查找、文件記錄等功能。主要記錄數據倉庫中模

原创 Flume Source類型配置

Avro Source: Avro Source,監聽AVRO端口來接受來自外部AVRO客戶端的事件流。是實現多級流動、扇出流、扇入流等效果的基礎。另外也可以接受通過flume提供的Avro客戶端發送的日誌信息。 a1.sources.r

原创 Scala的神奇語法

博主接觸過Java,Python,C,C++幾門主流語言,但今天在學習Scala中又見識到了新奇的地方,是從其他語言沒接觸過的。特分享出來供大家參考。 有關Scala的模式匹配問題, //匹配樣例類 //scala可以使用模式匹配來匹配

原创 Scala神奇語法2

今天記錄下Scala的柯里化語法 柯里化(Currying)是指將原先接受多個參數的函數 多個一個參數的多參數列表的過程。 讓我們先來定義兩個函數: // 實現對兩個數進行計算的方法 def calc[A <: AnyVal]

原创 SpingMVC+Mybatis複習

JAVAEE應用的分層模型 (各自作用) Domain Object(領域對象)層 由POJO(普通的,傳統的Java對象)組成,這些對象是該系統的領域對象,包含了各自所需實現的業務邏輯方法 Dao(數據訪問對象)層 由

原创 深入理解計算機系統(複習)

操作系統兩個基本功能 防止硬件被失控的應用程序濫用 嚮應用程序提供簡單一致的機制來控制複雜而又通常大不相同的低級硬件設備。 大端法和小端法 大端法:高地址高字節 小端法:高地址低字節 IBM和Oracle大多數機器是按大端模

原创 Linux系統基礎複習

判斷題 grep命令的功能是在文件中搜索與字符串匹配的行並輸出(√) vi編輯器的三種工作模式可直接切換(×) chmod命令用於更改文件或目錄的所有者(×) gcc編譯器的編譯流程依次爲:編譯,彙編,預處理,鏈接(×) gzi

原创 基於TCP協議和基於UDP協議的通信流程圖

分別畫出基於TCP協議和基於UDP協議進行網絡通信時客戶端和服務器端的通信流程圖

原创 計算機組成原理複習

馮·諾依曼計算機特點: - 1.計算機由運算器,存儲器,控制器,輸入設備和輸出設備五大部件組成。 - 2.指令和數據以同等地位存放於存儲器內,並可按地址尋址。 - 3.指令和數據均用二進制數表示。 - 4.指令由操作碼和地址碼組成

原创 學生成績管理系統 --(C語言實現)

功能有待完善,湊合看看就行,轉載請標明出處。 #include <stdio.h> #include <stdlib.h> #include <string.h> typedef struct LINKLIST //鏈表結構體 {

原创 操作系統概念 --輸入輸出系統(1)

1.I/O系統基本功能: ①隱藏物理設備的細節。 ②與設備的無關性。(①和②,方便用戶使用I/O設備) ③提高處理機和I/O設備的利用率 ④對I/O設備進行控制(③和④,提高CPU/IO設備利用率) ⑤確保對設備的正確共享 ⑥錯誤處理(⑤