原创 配置MapReduce的歷史服務器查看MR運行日誌
配置MapReduce的歷史服務器查看MR運行日誌 前言 前面介紹的MapReduce實例，我們會發現無法查看Map函數和Reduce函數的具體執行過程。本文介紹如何配置歷史服務器來查看MR的運行日誌。 一、如果我們僅僅在map和
2020-07-06 08:52:17
1
原创 第一個MapReduce程序開發
第一個MapReduce程序開發 前言 上篇博文已經搭建完成了Hadoop的開發環境，後面我們就需要專注於MapReduce的開發了。本文介紹如何利用MapReduce進行單詞個數統計的代碼實現，完整介紹一個Job作業的開發流程。
2020-07-01 18:50:45
1
原创 MapReduce程序自動化執行
MapReduce程序自動化執行 前言： 上篇博文開發了第一個MapReduce程序，但是，我們可以發現，MapReduce程序的執行，非常麻煩，首先需要Package，然後再通過Xftp工具將jar包上傳到unix服務器，再在服
2020-07-01 18:50:45
原创 Yarn簡單分佈式集羣搭建
Yarn簡單分佈式集羣搭建 前言 上篇文章介紹瞭如何搭建簡單分佈式的HDFS集羣，那麼HDFS說到底僅僅是一個文件系統，Hadoop另一個核心模塊MapReduce（計算框架或編程模型）就是對HDFS中存儲的數據進行計算，既然要進
2020-07-01 18:50:44
原创 SSH免密登錄配置及原理
SSH免密登錄配置及原理 前言：上篇博文介紹如何安裝Hadoop以及單機版HDFS集羣的配置，但是我們採用 start-dfs.sh 啓動HDFS集羣的時候，要不斷的輸入密碼，這是因爲這種方式啓動集羣時，它可以在任意一臺機器節點上
2020-06-23 06:51:15
原创 JAVA操作HDFS的文件系統
JAVA操作HDFS的文件系統 前言：上篇文章介紹瞭如何利用Shell去操作HDFS中的文件，本文介紹使用Java代碼去操作HDFS中的文件，它的操作內容和shell的操作內容和方法基本一致，開發集成工具選擇IDEA。 一、新建M
2020-06-23 06:51:13
原创 HDFS的簡單分佈式集羣集羣搭建
HDFS的簡單分佈式集羣集羣搭建 前言 本文介紹簡單的HDFS完全分佈式集羣搭建操作，之所以說是簡單的分佈式集羣，因爲它並不是高可用的HDFS。下篇文章將介紹如何搭建HA的HDFS分佈式集羣。 一、集羣搭建規劃 共需準備4臺機器。
2020-06-23 06:51:12
原创 Hadoop下載安裝及HDFS配置教程
Hadoop下載安裝及HDFS配置教程 前言 Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構。用戶可以在不瞭解分佈式底層細節的情況下，開發分佈式程序。充分利用集羣的威力進行高速運算和存儲。Hadoop實現了一個分
2020-06-23 06:51:12
原创 Shell操作HDFS的文件系統命令詳解
Shell操作HDFS的文件系統命令詳解 前言： 如lunix系統一樣，對於HDFS的操作，也有一系列的命令，並且大多和lunix系統的命令差不多，本文對常用的命令進行介紹。 一、HDFS有以下Shell命令 [root@hado
2020-06-23 06:51:12
原创 Fluent共軛傳熱分析實例-從三維建模到計算結果可視化
Fluent共軛傳熱分析實例-從三維建模到計算結果可視化 前言 共軛換熱是指一種兩種熱屬性的物理材料之間通過介質或者直接接觸，發生的一種耦合換熱現象，和一般換熱不同之處在於共軛換熱在計算的時候，爲了得到高效和準確的求解方法，應該將
2020-06-16 07:07:44
92
原创 Fluent多相流之VOF模型操作實例
Fluent多相流之VOF模型操作實例 前言：“相”指不同物態或同一物態的不同物理性質或力學狀態。相具有可定義的邊界，對周圍流場有特定的動力響應，相一般分爲固體、液體和氣體，但也指其他形式：有不同化學屬性的材料，但屬於同一種物理相
2020-06-16 07:07:44
168
原创 機器學習（十一）神經網絡模型之代價函數及利用反向傳播算法實現梯度下降算法
機器學習（十一）神經網絡模型之代價函數及利用反向傳播算法實現梯度下降算法 前言 上篇博文已經詳細解釋了什麼是神經網絡，以及如何理解一個神經網絡模型的計算過程，並利用反向傳播算法實現了神經網絡模型中預測函數的獲得。那麼和邏輯迴歸以及
2020-06-16 07:07:44
原创 機器學習（十）神經網絡理解及利用向前傳播算法得模型預測函數
機器學習（十）神經網絡理解及利用向前傳播算法得模型預測函數 前言： 我們前面已近學習了線性迴歸解決預測問題，邏輯迴歸解決分類問題，那麼現在我們學習神經網絡能解決什麼問題呢？我認爲它是爲了解決線性迴歸和邏輯迴歸存在的不足而出現的。我
2020-06-16 07:07:44
原创 Fluent離散相模型分析操作簡單實例
Fluent離散相模型分析操作簡單實例 前言 離散相是用於拉格朗日參考系下粒子/液滴/氣泡軌跡的計算，連續氣體相中，粒子可以傳遞熱，質量和動量，每條軌跡是由一系列初始屬性相同的粒子組成。多應用於氣旋、噴霧乾燥器、粒子的分離和分類、
2020-06-16 07:07:44
27
原创 Fluent 操作入門實例-從建模到計算結果可視化
Fluent 操作入門實例 前言： 本文詳細圖文介紹如何使用ANSYS Workbench 實現Fluent的基本入門操作實例。 1、打開workbench 2、將Fluid Flow（Fluent）拖入工作區 3、打開Des
2020-06-16 07:07:44
73