原创 java springBoot 中調用 Matlab軟件 進行 二維矩陣計算 matlabcontrol
最近，公司的一個項目要結合matlab 做一些算法預測。傳遞的參數大部分是矩陣結構，在java中可以用二維數組表示。 首先百度搜索資料，嘗試過matlab 的.m文件打包成jar的形式，這個是可行的，只不過jar的形式受限比較大，jdk運
2020-07-06 15:15:48
17
原创 HBase安裝到HA集羣
一、下載軟件：hbase-1.2.6-bin.tar.gz http://archive.apache.org/dist/hbase/1.2.6/ 解壓：hbase-1.2.6-bin.tar.gz [hadoop@nna ~]$
2020-06-07 21:47:23
原创 hadoop + zookeeper HA架構搭建
確保5臺linux系統節點已準備 |主機名| 內存|cpu |nna|2G|2核 |nns|2G|2核 |dn1|1G|1核 |dn2|1G|1核 dn3|1G|1核 1、給系統設置靜態IP,可以參照我之前的hadoop 集羣部
2020-06-07 21:47:23
原创 eclipse 使用maven構建簡單的項目工程操作hadoop HDFSS
通過構建一個簡單的項目工程，圍繞對實現分佈式文件系統HDFS 的操作展開學習。 參考資料：華爲大數據 模塊2 HDFS的應用開發。 hadoop 集羣的搭建可參考： https://mp.csdn.net/mdeditor/842
2020-06-07 21:47:23
原创 Failed to start namenode. java.net.SocketException: Unresolved address
看我的截圖可以知道我配錯了 備節點的地址。 進入 hdfs-site.xml ，修改爲 nns:50070 <property> <name>dfs.namenode.http-address.cluster1.nns</name
2018-12-07 17:06:23
18
原创 實戰 ：對HBase業務表進行增刪改查操作（Eclipse,Linux 環境）
嘗試使用HBASE shell 和HBase java API 兩種方式來演示對業務表的操作。 一、Hbase Shell 1、啓動控制檯，啓用hbaseshell 控制檯對Hbase 進行操作具體命令如下： [hadoop@nna
2018-11-30 17:22:39
原创 sqoop在關係型數據庫與分佈式文件系統之間傳輸數據
sqoop用於 hadoop 與關係型數據庫之間的數據傳遞，可以將數據庫中的數據導入到hdfs等文件系統，也可以將hdfs 上的數據導入到數據庫中。 準備sqoop 軟件包 sqoop-1.4.7.bin__hadoop-2.6.0
2018-11-26 02:10:17
1
原创 HBase安裝與基本使用
一、下載軟件：hbase-1.2.6-bin.tar.gz http://archive.apache.org/dist/hbase/1.2.6/ 解壓：hbase-1.2.6-bin.tar.gz [hadoop@nna ~]$ t
2018-11-26 02:10:07
原创 eclipse 使用maven構建簡單的項目工程操作hadoop hdfs
通過構建一個簡單的項目工程，圍繞對實現分佈式文件系統HDFS 的操作展開學習。 參考資料：華爲大數據 模塊2 HDFS的應用開發。 jdk 版本：1.8 一、使用maven 創建一個簡單的 maven project， 至於mave
2018-11-22 22:45:33
原创 hadoop + zookeepe HA架構搭建
確保5臺linux系統節點已準備 |主機名| 內存|cpu |nna|2G|2核 |nns|2G|2核 |dn1|1G|1核 |dn2|1G|1核 dn3|1G|1核 1、給系統設置靜態IP,可以參照我之前的hadoop 集羣部署中
2018-11-22 22:45:33
原创 win7 系統eclipse環境下測試 運行hadoop 的 wordcount mapreduce。
上篇介紹了在linux下測試運行 hadoop 的wordcount 例子後，就想着怎麼在eclipse 下編寫mapreduce函數，鏈接hadoop集羣計算呢。 linux下測試運行 hadoop 的wordcount 參考：h
2018-11-20 02:24:24
原创 Linux 環境下運行hadoop 的wordcount 程序
我相信每個人部署完hadoop 環境之後，都想運行一下程序，就比如學習java的時候，配置好環境變量，就想運行一下程序輸出一個hellop word。 wordcount程序，統計文本中的字符出現次數。本次，主要目的是在liunx運行
2018-11-20 02:24:24
原创 MRunit 測試MapReduce 程序
使用MRunit 測試 MapReduce ,就比如我們寫java 程序是的junit單元測試，其實，mrunit 和標準的junit框架一起使用，可以將mapreduce作業的測試作爲正常開發環境的一部分運行。 準備測試的包：mru
2018-11-20 02:24:24
原创 Centos7 linux 系統 部署hadoop 集羣
背景：最近新的工作要接觸大數據，所以需要先接觸一下hadoop，一步步學習下去，暫時沒有固定的學習路線，還是看公司工作需要。先把hadoop環境跑起來，再多想想爲什麼。 **目的：部署的集羣結構如下： master slave1 s
2018-11-20 02:24:24
原创 插入排序算法之折半插入排序算法
之前有學過二分查找，其實折半插入跟二分查找都是同一個原理。在百度百科開了折半排序算法的原理後，自己試着根據原理寫出了版本一的算法，版本二是參照巨人的實現思想，版本二纔是重點。版本一可以忽略不看。算法同樣的目的是尋找正確的插入點。版本一：實
2018-09-01 14:01:19