原创 Hadoop 3.x搭建基礎HDFS集羣

與Hadoop 2.x相比,它有一些新的特性如下: 基於JDK 1.8 HDFS可擦除編碼 MR Native Task優化 基於Cgroup的內存隔離和IO Disk隔離 更改分配容器資源Container res

原创 HDFS高可用機制實現

一、怎麼理解HDFS高可用 HDFS高可用要解決的問題點:NameNode存在單點失效的問題 當NameNode失效後,所有的客戶端包含MapReduce作業都將無法讀寫文件,因爲NameNode是唯一存儲元數據與文件到數據塊映射的地方

原创 Hadoop對文件的基本操作方式(shell命令、JAVA API)

Hadoop對文件的基本操作方式:shell命令、JAVA API   一、Shell中操作HDFS時常用命令   創建目錄命令    hdfs dfs -mkdir /user        在根目錄下創建user目錄       

原创 Hadoop HDFS常用命令之文件操作

Hadoop中HDFS常用命令_文件操作   對文件的操作 HDFS命令都在Hadoop的bin目錄下,當我們配置好了Hadoop的環境變量後就可以直接輸入HDFS的命令了,而不需要轉到對應的目錄下再執行命令   具體命令 命令說

原创 Hadoop集羣部署總結(兩個節點部署)

關於兩個節點的集羣部署,可以先參考,單個節點的僞集羣部署的總結(https://blog.csdn.net/advent_java/article/details/105773087)   一、關於core-site.xml文件 <?xm

原创 Hadoop HDFS簡單介紹

一、HDFS相關概念簡介 關於HDFS百度百科介紹如下:   HDFS相關概念及體系簡介 HDFS:Hadoop Distributed File System,使用JAVA語言實現的分佈式、可橫向擴展的文件系統 它包含一個名稱節

原创 Hadoop集羣部署總結(單機僞集羣部署)

一、JAVA環境的安裝 hadoop環境是一定需要有JAVA環境的,所以有一個關鍵的前提是安裝JAVA環境並且對環境變量進行配置 安裝JAVA 安裝命令:     rpm -ivh jdk-7u80-linux-x64.rpm 對環境變量

原创 使用IntelliJ IDEA 生成Structs框架應用實例Hello World

使用IntelliJ IDEA 生成Structs框架應用實例Hello World 當在Struts2的web應用程序中點擊一個超鏈接或提交一個HTML表單時,會由控制器收集輸入併發送一個叫Actions的Java類。 Action被執

原创 C#每日一課(三十九)

LINQ to SQL LINQ to SQL提供了一種把關係型數據庫映射到編程語言表示的對象模型,使用得開發人員可以通過編程語言直接操作數據庫,數據庫的訪問由此變得更加快捷和高效。 對象模型的原理 與LINQ to DataSet

原创 C#每日一課(三十八)

LINQ to ADO.NET 它包含 LINQ to DataSet和LINQ to SQL兩個相關技術。 LINQ to DataSet:提供對DataSet、DataTable進行查詢 LINQ to SQL:通過LINQ對象模

原创 C#每日一課(三十七)

LINQ查詢方法 LINQ中,數據源和查詢結果實際上都是IEnumerable或IQueryable類型的對象,所以可以像使用普通對象一樣使用調用方法,使用屬性等對數據源進行查詢和使用其結果數據。 IEnumerable接口 這個

原创 C#每日一課(三十六)

LINQ基礎知識 LINQ是微軟.NET Framework 4.5提出的特徵之一。它爲開發人員提供了統一的數據查詢模式,並且與.NET開發語言集成,很大程度上簡化了數據查詢的編程調試工作,提高了數據處理的性能。 LINQ是什麼?

原创 C#每日一課(三十五)

面向對象編程概述 面向對象編程(OOP),是把現實中的事物進行抽象化,其設計的重點就是對類進行設計。 什麼是類和對象 類,它實際上是一種複雜的數據類型,在這個複雜的類型當中有數據和與這些數據相關的操作封裝在一起。 對象,就是在有了類

原创 C#每日一課(三十四)

C#多線程 線程,被定義爲程序的執行路徑,每個線程都定主了一個獨特的控制流。如果程序涉及到複雜和耗時的操作,那麼把它們使用多線程來處理是可以提高執行效率的。 線程的生命週期 初始狀態:未啓動狀態,當線程實例被創建但Start方法未

原创 C#每日一課(三十三)

C#泛型 泛型Generic,允許延遲編寫類或方法中的編程元素的數據類型的規範,直到實際在程序中使用的時候。 可以通過數據類型的替代參數編寫類或方法的規範。當編譯器遇到類的構造函數或方法的函數調用時,它會成生代碼來處理指定的數據類型。