原创 （二十六）Storm常見錯誤及處理方法
1. 發佈topologies到遠程集羣時，出現Nimbus host is not set異常 原因是Nimbus沒有被正確啓動起來，可能是storm.yaml文件沒有配置，或者配置有問題。 解決方法：打開storm.yaml文件正確
2020-06-29 19:37:13
原创 SpringBoot的旅遊系統畢業設計分享和講解
論文摘要 處於“互聯網+”浪潮的變革中，用戶消費觀發生巨大變化，因現代互聯網的便捷，故旅遊業與互聯網的結合是大勢所趨。本文建立了一個小型的旅遊網站，突出了旅遊特色。此網站是一種採用SpringBoot框架，使用SpringD
2020-06-29 19:37:13
原创 （前言）我的大數據學習之旅
這是對大數據相關內容做的總結，也是初學者想了解大數據所要學習的相關知識。在此我將自己本科階段學習的內容做一個相關的學習介紹，用序號的方式進行記錄我的學習歷程。 一、大數據運維之Linux基礎 打好Linux基礎，以便更好地學習Hado
2020-06-24 11:10:45
原创 （四）HDFS 的認識和 shell 操作
1. HDFS前言 設計思想 分而治之：將大文件、大批量文件，分佈式存放在大量服務器上，以便於採取分而治之的方式對海量數據進行運算分析； 在大數據系統中作用： 爲各類分佈式運算框架（如：mapreduce，spa
2020-06-24 11:10:45
原创 （十二）使用Eclipse編譯運行WordCount程序
因爲eclipse有Hadoop-Eclipse-Plugin插件，這裏介紹 Eclipse 上編譯和運行 MapReduce 程序 一、安裝配置Hadoop-Eclipse-Plugin 1、要在 Eclipse 上編譯和運行 Ma
2020-06-24 11:10:45
原创 （二）關於Hadoop分佈式環境的搭建過程
本筆記是個人蔘照林子雨老師教學文檔進行撰寫，詳細請看廈門大學數據庫實驗室觀看 個人搭建hadoop平臺實用的環境：Ubuntu 14.04 64位 *3、JDK1.8、Hadoop 2.6.5 (apache) 一、Hadoop安裝前
2020-06-24 11:10:45
原创 （十）MapReduce案例之WordCount（1）
這裏通過將代碼打包成jar的方式，傳輸到linux中來運行wordcount程序 1、需求 從大量（比如T級別）文本文件中，統計出每一個單詞出現的總次數 2、mapreduce實現思路 Map階段： 從HDFS的源數據文件中逐行讀取數
2020-06-24 11:10:45
原创 Java Web前臺學習計劃
摘要：如果你在學習前臺路途中還是迷茫狀態，不妨去看看下面的內容 一、前端基礎部分 相關學習網站 1、HTML 資料菜鳥教程《學習HTML》http://www.runoob.com/html/html-tutorial.html
2020-06-24 11:10:42
原创 （一）關於Hadoop的認識
一、什麼是HADOOP HADOOP是apache旗下的一套開源軟件平臺 HADOOP提供的功能：利用服務器集羣，根據用戶的自定義業務邏輯，對海量數據進行分佈式處理 HADOOP的核心組件有 HDFS（分佈式文件系統） YARN（運算資
2020-06-24 11:10:42
原创 （十六）Hive的認識以及安裝部署與簡單操作
一、Hive的介紹 1、什麼是Hive Hive 是建立在 Hadoop 上的數據倉庫基礎構架。 它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL ），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規
2020-06-24 11:10:41
原创 （二十一）MR的處理結果通過Java API導入Hbase
環境準備 在上一篇的基礎上，還需要導入Hbase的相關jar包，找到Hbase下載目錄，lib中的jar包導入環境中 代碼編寫 package Hbase; import org.apache.hadoop.conf.Conf
2020-06-24 11:10:41
原创 Linux指令系統
Linux指令系統 （一）目錄操作 【需求】 查看/tmp目錄下的內容； 如果/tmp目錄下沒有子目錄myshare，就建立該目錄； 要求目錄myshare的擁有者爲bin，工作組爲bin； 要求myshare下的所有文件和子目錄都自動擁
2020-06-24 11:10:41
原创 Nginx的常用使用命令
啓動 nginx start 查看進程 ps -ef |grep nginx 平滑重啓 kill -HUP [PID] 配置測試 nginx -t 重啓 nginx -s reload
2020-06-24 11:10:41
原创 人工智能的介紹和發展
這一節會記錄人工智能的發展和主要分支 說起人工智能，腦海裏一定會浮現出一個偉大的名字，對，就是圖靈--人工智能之父。關於圖靈的介紹，本文不做過多闡述，這裏推薦看這個短視頻：https://www.bilibili.com/
2020-06-24 11:10:41
原创 （二十二）日誌採集框架Flume的介紹與案例
前言 在一個完整的大數據處理系統中，除了hdfs+mapreduce+hive組成分析系統的核心之外，還需要數據採集、結果數據導出、任務調度等不可或缺的輔助系統，而這些輔助工具在hadoop生態體系中都有便捷的開源框架 如圖所示：
2020-06-24 11:10:41