原创 Mapreduce實例(三):求平均值

系統環境 Linux Ubuntu 16.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 hadoop-2.6.0-eclipse-cdh5.4.5.jar eclipse-java-jun

原创 Kafka安裝及測試

系統環境 Linux Ubuntu 16.04 jdk-7u75-linux-x64 相關知識 Kafka是由LinkedIn開發的一個分佈式的消息系統,使用Scala編寫,它因可以水平擴展和高吞吐率而被廣泛使用。目前越來越多的開

原创 MapReduce實例(二):去重

系統環境 Linux Ubuntu 16.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 hadoop-2.6.0-eclipse-cdh5.4.5.jar eclipse-java-jun

原创 Mapreduce實例(四):Map端join

系統環境 Linux Ubuntu 16.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 hadoop-2.6.0-eclipse-cdh5.4.5.jar eclipse-java-jun

原创 Mapreduce實例(八):倒排索引

系統環境 Linux Ubuntu 16.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 hadoop-2.6.0-eclipse-cdh5.4.5.jar eclipse-java-jun

原创 Mapreduce實例(五):Reduce端join

系統環境 Linux Ubuntu 16.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 hadoop-2.6.0-eclipse-cdh5.4.5.jar eclipse-java-jun

原创 Mapreduce實例(三):排序

系統環境 Linux Ubuntu 16.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 hadoop-2.6.0-eclipse-cdh5.4.5.jar eclipse-java-jun

原创 Sqoop增量數據導入

系統環境 Linux Ubuntu 16.04 jdk-7u75-linux-x64 hadoop-2.6.0-cdh5.4.5 sqoop-1.4.5-cdh5.4.5 mysql-5.7.24 相關知識 Sqoop在impor

原创 大數據處理框架Hadoop

一、Hadoop簡介 Hadoop由Apache基金會開發的分佈式系統基礎架構,是利用集羣對大量數據進行分佈式處理和存儲的軟件框架。用戶可以輕鬆地在Hadoop集羣上開發和運行處理海量數據的應用程序。 Hadoop有高可靠,高擴

原创 謝希仁計算機網絡第七版第一章知識整理(內含知識導圖)

本章主要內容 互聯網邊緣部分和核心部分的作用,包括分組交換概念 計算機網絡的性能指標 計算機網絡分層次的體系結構,包含協議和服務的概念 1.1 計算機網絡在信息時代中的作用 “三網融合”:電信網絡、有線電視網絡、計算機網絡

原创 C++程序訪問名稱空間std的方法

讓程序能夠訪問名稱空間std的方法有多種,下 面是其中的4種。 將 using namespace std;放在函數定義之前,讓文件中所有的函數都能夠使用名稱空間std中所有的元素。. 將using namespace std;

原创 計算機網絡實驗之 VLAN 的劃分

實驗1:單交換機VLAN的劃分 實驗簡述 一個辦公區有若干個部門,所有部門的計算機連接在一臺交換機上,業務交流實現部門內部的網絡的網絡連通和資源共享,同時要求對部門間的網絡進行隔離。此次以四臺主機分屬兩個部門爲例,進行實驗。假設四

原创 802.x 標準介紹

原文鏈接:http://sencom.top/?p=170 802.X IEEE 802 標準系列: IEEE 802.1A 概述和系統結構。 IEEE 802.1B 網絡管理和網際互聯。 IE

原创 臺大林軒田機器學習基石學習筆記(二):Learning to Answer Yes/No

在本次學習中,Hsuan-Tien Lin通過銀行發信用卡的例子引入感知器假設集的概念,進一步分析之後,給出感知器算法PLA,並總結了PLA的使用條件和優缺點,最後給出一種改進算法—Pocket Algorithm,即口袋算法