原创 【每日一題】從尾到頭打印鏈表

題目:輸入鏈表的頭結點,從尾到頭反過來打印出每個結點的值。 解題思路: 方法一:使用棧的方式輸出 根據給出的頭結點,從頭結點開始依次入棧; 將棧內的數據依次輸出。 方法二:使用遞歸的方式輸出 構建函數輸出當前結點

原创 【Hadoop學習之Yarn】_27Yarn資源調度器

文章目錄一、Yarn基本架構二、Yarn工作機制三、job提交全過程四、資源調度器五、任務的推測執行 Yarn是一個資源調度平臺,負責爲運算程序提供服務器運算資源,相當於一個分佈式的操作平臺,而MapReduce等運算程序則相當

原创 【Hadoop學習之MapReduce】_23MR之join的應用

文章目錄一、Reduce join的應用(一)join的主要工作(二)Reduce join案例實操(三)總結二、Map join的應用(一)Map join詳解(二)Map join案例實操 一、Reduce join的應用 (

原创 【Hadoop學習】_03Hadoop運行模式

一、本地運行模式 ​ 參考:http://dblab.xmu.edu.cn/blog/install-hadoop/ 二、僞分佈運行模式 ​ 參考:http://dblab.xmu.edu.cn/blog/install-hado

原创 【Hadoop學習之MapReduce】_21MR之MapTask和ReduceTask工作機制

MapTask和ReduceTask工作機制合起來即爲MapReduce工作機制 一、MapTask工作機制 Read階段:MapTask通過用戶編寫的RecordReader,從輸入InputSplit中解析出一個個k

原创 【Hadoop學習】_00Hadoop的優勢(4高)

一、高可靠性 ​ Hadoop底層維護多個數據副本,所以即使Hadoop某個計算元素或存儲出現故障,也不會導致數據的丟失。 二、高可擴展性 ​ 在集羣間分配任務數據,可方便的擴展數以千計的節點。 三、高效性 ​ 在MapRe

原创 【Hadoop學習之MapReduce】_22MR之OutputFormat數據輸出

一、OutputFormat接口實現類 OutputFormat是MapReduce輸出的基類,所有實現MapReduce輸出都實現了OutputFormat接口。 文本輸出TextOutputFormat 默認的輸出格式

原创 【Hadoop學習之MapReduce】_18MR之InputFormat數據輸入

文章目錄一、切片與MapTask並行度決定機制二、Job提交流程源碼三、FileInputFormat切片機制(一)FileInputFormat切片機制(二)FileInputFormat切片源碼解析(input.getSpli

原创 【Python學習】Python基礎應用

文章目錄一、文件的批量重命名1.判斷是否是目錄2.重命名文件3.遍歷當前目錄4.遞歸遍歷5.棧模擬遞歸遍歷6.隊列模擬遞歸遍歷7.練習-文件批量重命名(遞歸)二、二十一點小遊戲 一、文件的批量重命名 1.判斷是否是目錄 相對路徑

原创 【Hadoop學習之MapReduce】_26MR之數據壓縮

文章目錄一、概述二、MR支持的壓縮編碼三、壓縮方式選擇(一)Gzip壓縮(二)Bzip2壓縮(三)Lzo壓縮(四)Snappy壓縮四、壓縮位置選擇五、壓縮參數配置六、壓縮案例實操(一)數據流的壓縮和解壓縮(二)Map輸出端採用壓縮

原创 CentOs7安裝mysql5.7

一、安裝MySQL 下載MySQL官方Yum源: wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 使用Yum

原创 Navicat遠程連接MySQL

一、開啓遠程連接 服務器端開啓MySQL遠程連接:MySQL開啓遠程連接 二、配置連接信息 新建MySQL連接: 輸入常規配置信息: 輸入SSH配置信息: 測試連接:

原创 【Python學習】Python數據科學基礎案例

文章目錄一、足球運動員分析二、Facebook營銷組合分類 一、足球運動員分析 # 導入分析需要用到的庫 import numpy as np import pandas as pd import matplotlib as mp

原创 【每日一題】重建二叉樹

題目:輸入某二叉樹的先序遍歷和中序遍歷的結果,請重建出該二叉樹。假設輸入的先序遍歷和中序遍歷的結果中都不含重複的數字。例如:前序遍歷序列{ 1, 2, 4, 7, 3, 5, 6, 8}和中序遍歷序列{4, 7, 2, 1, 5

原创 【每日一題】替換空格

題目:請實現一個函數,把字符串中的每個空格替換成"%20",例如輸入“We are happy.“,則輸出”We%20are%20happy.“。 解題思路: 統計字符數組中的空白字符數; 計算出轉換後的字符串長度; 若空白