原创 大數據隨筆（五）：HDFS編程示例
HDFS主要有兩種編程方式：shell和java api shell 有兩套文件系統，一套是本地文件系統，一套是HDFS文件系統。shell命令中只有hadoop fs的命令是適用於這兩種系統的，另兩個只能用於HDFS文件系統。
2020-06-14 21:05:34
原创 大數據隨筆（四）：IDEA配置編寫hadoop程序
僞分佈式Hadoop啓動之後，打開Intellij IDEA，新建一個工程 選擇創建Maven工程，這是一個用於管理jar包的組件，本來一些Java程序需要依賴各種各樣的jar包，需要自己去手動找到路徑去導入，依賴大量jar包的時
2020-06-14 21:05:34
原创 大話設計模式總結
文章目錄1.簡單工廠模式2.策略模式3.單一職責原則4.開放封閉原則5.依賴倒轉原則6.裝飾模式7.代理模式8.工廠方法模式9.原型模式10.模板方法模式11.迪米特法則12.外觀模式13.建造者模式14.觀察者模式15.抽象工廠
2020-06-14 21:05:34
原创 大數據隨筆（二）：虛擬機上Hadoop安裝配置（僞分佈式模式）
自定義標題環境準備工作配置java安裝hadoop啓動hadoop驗證是否啓動成功其他小記參考資料 環境 ubuntu18.04 java1.8.0_241 hadoop2.9.2 準備工作 僞分佈式：Namenode和Datan
2020-06-14 21:05:34
原创 大數據隨筆（六）：分佈式數據庫HBase
HBase簡介 HBase是一種分佈式數據庫，可以用來存儲結構化和半結構化的鬆散數據。通過水平擴展，可以讓數千臺服務器去存儲海量數據。 用HBase的原因：HDFS+MapReduce是面向離線的數據處理，無法滿足實時要求；傳統關
2020-06-14 21:05:34
原创 大數據隨筆（三）：分佈式文件系統HDFS
HDFS簡介 分佈式文件系統HDFS（Hadoop Distributed File System） 文件系統結構 HDFS優勢： 兼容廉價的硬件設備 實現流數據讀寫（全部或大部分數據讀寫，不會讀寫指定數據） 支持大數據集 支
2020-06-14 21:05:34
原创 大數據隨筆（一）：大數據基本概念
一、大數據的計算模式： 不同的計算模式需要使用不同的產品 批處理模式：一堆數據一起做批量處理，不能滿足實時性要求。 如MapReduce，Spark（實時性比MapReduce好，可以做迭代計算，MapReduce不能）
2020-06-14 21:05:34
原创 通用型無參圖像質量評價綜述
文章目錄基於自然場景統計特徵（NSS）的方法基於學習的方法 本文主要翻譯自綜述論文[1]，並添加了一些自己閱讀的較新的文獻。研究領域是通用型無參考圖像質量評價。 基於自然場景統計特徵（NSS）的方法 NSS是一個強大的通用NR-I
2020-05-13 00:51:16
4
原创 GUI實現Net-SNMP監控主機CPU等信息(二）
上一篇寫完後就沒管了，後來考完試更沒心思補了，就咕咕了。最近好多人私信要代碼，但是我又沒保存當時的程序，年代久遠。找了半天，居然在百度網盤裏找到了代碼，這裏就把博文補一下。 代碼分析就直接拿我當時的報告裏的了（這代碼現在我自己都看
2020-05-07 08:08:59
原创 大數據隨筆（七）：HBase安裝配置和編程示例
HBase安裝 首先根據hadoop版本選擇合適的HBase版本。 HBase版本參考 我的hadoop是2.9.2，所以選擇HBase版本是2.2.2 下載地址 tar -xzvf hbase-2.2.2-bin.tar.gz
2020-03-22 22:55:12
1
原创 大數據隨筆（一）：虛擬機上Hadoop安裝配置（僞分佈式模式）
自定義標題環境準備工作配置java安裝hadoop啓動hadoop驗證是否啓動成功其他小記參考資料 環境 ubuntu18.04 java1.8.0_241 hadoop2.9.2 準備工作 因爲是虛擬機模擬，所以先綁定一下ip和
2020-03-05 12:23:07