原创 學習Hadoop第一個MapReduce程序WordCount的詳解

WordCount官方代碼的詳解 作爲小白的我初次在hadoop裏接觸mapReduce程序,難免會有些費解以及難懂代碼所蘊含的意思,經過自己查閱資料以及消化,便得到下面代碼的的解釋: package homework; imp

原创 Python小記 —— 文件讀寫操作裏read()方法的深究

** 語法 ** 格式:read(size) 在read()方法裏,size表示要從文件中讀取的數據長度,如果沒有指定size或者指定爲“None”就表示讀取文件裏的全部數據。 特別需要注意點: read()的讀取機制因訪問文件

原创 python使用pip指令安裝並引用第三方模塊及注意事項

python裏有內置模塊、自定義模塊還有第三方模塊。 內置模塊就是python自帶的模塊了,我們直接引用就可以了,如:import sys。自定義模塊就是按照我們編程者的需求以方便編寫程序和維護代碼的一些“.py文件”,簡單地說,

原创 WordCount大變身做一些簡單的數據處理應用案列

目錄前言任務描述任務分析MapReduce默認排序規則代碼實現任務最終效果 ———————————————————————————————————————— 前言 WordCount算是我們學習hadoop的第一分佈式計算程序了,

原创 解決Docker裏的error during connect異常問題

剛開始接觸Docker,遇到異常問題難免會手忙腳亂。沒事的,學習就是這樣子,在困難中不斷地找到解決問題的方法,貴在堅持,加油! 來了來了,問題來了,不要慌,看下面: 我們正常打開了Docker後執行命令後報出error duri

原创 解決安裝sqoop後出現一些警告提示

Apache Sqoop 被設計用於在一個 Hadoop 生態系統與 MySQL、Oracle、MS SQL、Postgre SQL 和 DB2等關係型數據庫管理系統 (RDBMS) 中的結構化數據存儲之間傳輸數據。作爲 Hado

原创 centos創建應用快捷方式文件的語法

以下是在創建應用程序桌面快捷方式文件的內容要求: [Desktop Entry] 文件頭 Encoding 編碼格式 Name 應用名稱 Name[xx] 不同語言的應用名稱 Comment 描述 E

原创 在IDEA運行Scala程序出現的炸腦異常——Process finished with exit code -1073741819 (0xC0000005)

剛開始的時候出現了Process finished with exit code -1073741819 (0xC0000005)異常一臉懵逼的,不,糾正一下,是很多天都不知道怎麼回事!菜雞一個勿噴。 回到正題:當我運行一個向控制

原创 Hadoop集羣裏執行程序出現異常就要尋找日誌文件查看情況

當我們運行Hadoop執行我們的程序時,很多時候因爲我們的各種無法猜測得到的原因導致程序執行出現異常情況,當然這時的我們也會很苦惱並大聲尖叫“太TM難了,嗚嗚嗚~”,莫着急! 出現這樣的情況就需要我們冷靜下來啦,現在我們就需要去尋

原创 win10家庭版通過docker安裝splash(史上最詳細)

目錄前言環境簡要說明安裝Docker初始化鏡像加速拉取splash運行splash 前言 splash 是一個JavaScript渲染服務,是一個帶有HTTP API的輕量級瀏覽器,並且對接Python中的Tiwisted和QT庫

原创 hadoop入門習題集

以下是我上hadoop課程時由老師提供的習題集(利用Hadoop提供的shell命令完成任務): 一、將HDFS中指定文件的內容輸出到終端中; 二、顯示HDFS中指定的文件的讀寫權限、大小、創建時間、路徑等信息; 三、給定HD

原创 python小記 —— sys.argv

sys.argv到底是什麼? sys.argv是運行在黑屏終端運行python文件獲取的參數。即返回一個包含輸入參數的列表。 話不多說了看下面,反手就是一堆代碼: import sys print("list長度:",len(sy

原创 關於Windows10運行debug重要操作

剛剛接觸彙編語言的我,對於debug是什麼,還有是怎麼運行它等等都不知道,看了很多帖子並都操作一遍,確實有些是行不通的,也或者說是我的理解問題吧。在這分享一個對我管用的帖子,真的一招解決了困我數小時的問題(鄙人菜鳥)。僅供參考。

原创 python小記——傳入函數帶括號與不帶括號的區別

剛上手python函數的時候,是否遇到過用函數傳給另一個變量呢?我記得之前的我是傻傻地難以分辨傳入的那個函數有無括號之間的區別。不說了不說了先上代碼,嘻嘻嘻! def test(args): return args pr

原创 關於IP地址與主機名映射的/etc/hosts文件配置

爲什麼要這樣做? 首先,在hadoop工作就像是一個社團幫派,master是老大,而slave1、slave2等就是master的小弟。但是,slave並沒有像我們那麼聰明一眼就能分辨出自己的老大,它們是以ip地址作爲辨別的。那麼