原创 MapReduce重點(Map階段,Reduce階段,Shuffle階段)

一、MapReduce的工作流程 1、Map階段 (1)讀取hdfs上的文件,每個block啓動一個maptask,按行讀取一個block中的內容。 (2)map函數對數據split拆分,得到數組,組成一個鍵值對<word,1> (3)

原创 計算機組成原理————計算機相關

1、馮·諾伊曼計算機的特點有, 使用單一的處理部件來完成計算、存儲以及通信工作; 存儲空間的單元是直接尋址的; 指令和數據一起以同等地位存放於存儲器內,並可按地址訪問; 指令和數據均用二進制代碼表示; 指令由操作碼和地址碼組成,操作碼用於

原创 Hadoop生態體系簡單介紹

  一、數據來源層 1、結構化數據(數據庫) 2、半結構化數據(日誌文件) 3、非結構化數據(視頻,PPT等) 二、數據傳輸層 1、Flume收集日誌 2、Sqoop數據傳遞 3、Kafka消息隊列 三、數據存儲層 1、HDFS分佈式文

原创 LAN、WAN、WLAN、VLAN的區別

原文鏈接   局域網(Local Area Network,LAN) 是指在某一區域內由多臺計算機互聯成的計算機組。一般是方圓幾千米以內。局域網可以實現文件管理、應用軟件共享、打印機共享、工作組內的日程安排、電子郵件和傳真通信服

原创 計算機組成原理————寄存器尋址方式大總結

  常見的尋址方式有立即尋址、直接尋址、間接尋址、寄存器尋址、寄存器間接尋址、相對尋址和變址尋址等。在立即尋址方式中,操作數包含在指令中;在直接尋址方式中,操作數存放在內存單元中;在寄存器尋址方式中,操作數存放在某一寄存器中:在間接尋址方

原创 推薦系統中的分類

目錄 一、基於人口統計學的推薦 二、 基於內容的推薦 三、 基於關聯規則的推薦 四、基於協同過濾的推薦 1、基於用戶的協同過濾推薦算法 2、基於項目的協同過濾算法 3、Slope one 推薦算法 推薦系統根據對數據的操作, 可以分

原创 RAM,ROM,固態(SSD),硬盤它們間有何關係?

RAM是隨機存取存儲器(random access memory),是計算機內部存儲器中的一種,也是其中最重要的,計算機和手機中一般把其叫做(運行)內存,它的速度要比硬盤快得多,所以用運行程序在RAM中,而存放運行時不用的數據則在硬盤中,

原创 OS————操作系統的基本概念

目錄  一、 操作系統的基本概念 二、操作系統發展 三、組成 四、特徵 五、主要功能 六、體系結構 七、常見的操作系統   一、 操作系統的基本概念 現代計算機系統系統由一個或者多個處理器、主存、磁盤、打印機、鍵盤、鼠標、顯示器、網絡接口

原创 現代操作系統(第四版)————處理機調度

目錄 一、調度簡介 1、調度的要求 2、何時調度? 3、調度算法的分類 4、調度算法的目標 二、批處理系統中的調度 三、交互式系統中的調度 四、實時系統中的調度 五、策略和機制 六、線程調度 當計算機系統是多道程序設計系統時,通常就會有多

原创 數據幀、數據包、數據報三者區別

數據幀(Frame):數據鏈路層,傳遞的單位是frame 幀,就是數據鏈路層的協議數據單元,它包括三部分:幀頭,裏面有mac地址,通過這個地址可以在底層的交換機這個層面裏順着網線找到你的計算機。數據部分,ip數據包,意思是使用ip地址定位

原创 線程的幾種可用狀態

1. 新建( new ):新創建了一個線程對象。 2. 就緒( runnable ):線程對象創建後,其他線程(比如 main 線程)調用了該對象 的 start ()方法。該狀態的線程位於可運行線程池中,等待被線程調度選中,獲 取 c

原创 子類與父類之間各種代碼塊執行順序,瞭解一下唄

由先到後依次的執行流程爲: 1、父類靜態變量 2、父類靜態代碼塊 3、子類靜態變量 4、子類靜態代碼塊 5、父類非靜態變量 6、父類構造函數 7、子類非靜態變量 8、子類構造函數   總結如下: 1、相同代碼塊之間,遵循先父類再子類的順

原创 JDBC連接的設計模式————橋接模式

鏈接:https://www.nowcoder.com/questionTerminal/134a62da02d34bc6a7ff309af3fbb76f?pos=51&orderByHotValue=2 來源:牛客網   橋接模式: 定