原创 Oracle rownum分頁查詢
/* rownum : 分頁查詢 在oracle中只能使用子查詢來做分頁查詢 */ --查詢第6 - 第10 記錄 select rownum, emp.* from emp; select rown
2020-06-03 15:15:04
原创 hadoop架構、組件
1.hadoop架構？ ①底層（存儲） ②中間層（資源及數據管理） ③上層（MapReduce、Impala、Spark等計算引擎） ④頂層（服務） 2.Hadoop組件？ ①Pig和Hive Pig是一種編程語言，它簡化了Hadoop
2020-02-22 09:37:49
原创 RPC(Remote Procedure Call)
1.RPC是什麼？ RPC——遠程過程調用協議，它是一種通過網絡從遠程計算機程序上請求服務，而不需要了解底層網絡技術的協議。RPC協議假定某些傳輸協議的存在，如TCP或UDP，爲通信程序之間攜帶信息數據。在OSI網絡通信模型中，RPC跨越
2020-02-22 09:37:49
1
原创 win7下搭建hadoop環境，出現ERROR namenode.NameNode: Failed to start namenode.
參考文章： https://blog.csdn.net/qq_35535690/article/details/81976032 hadoop環境已配置好，在使用hadoop namenode -format 命令啓動運行的時候，報錯
2020-02-22 09:37:49
原创 使用封裝好的方法上傳文件
package week01; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; import java.net.URI
2020-02-22 09:37:49
原创 java.io.IOException: Cannot create directory /home/app/hadoop-2.4.1/data/dfs/name/current
初始化hadoop時出現這個問題java.io.IOException: Cannot create directory /home/app/hadoop-2.4.1/data/dfs/name/current 解決：①查看配置的路徑，
2020-02-22 09:37:49
原创 hadoop搭建僞分佈式環境
1.準備Linux環境 1.0點擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網段、子網掩碼 -> apply -> ok
2020-02-22 09:37:49
原创 HDFS（Hadoop Distributed FileSystem）
1.簡介 ~ 高度容錯性的分佈式文件系統，適合部署在廉價的計算機上。 ~ Linux文件系統之上又構建了一個文件系統， ~ 能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用 ~ 一個樹形文件系統。可以創建、刪除、移動或重命名文件和目
2020-02-22 09:37:49
原创 hadoop初識
1.hadoop是什麼？ hadoop之父是Doug Cutting。是由很多技術框架組成的生態系統，包括數據庫（nosql）。Apache開源框架集羣，做分佈式計算和離線運算、實時運算。 受Google三篇論文啓發出現的。（GFS、Ma
2020-02-22 09:37:49
原创 分佈式文件系統
常見的分佈式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分佈式文件系統，而是應用級的分佈式文件存儲服務。 Google學術
2020-02-22 09:37:49
原创 hdfs實現思想（機制）及hdfs shell
hdfs的實現思想： 1.hdfs是通過分佈式集羣存儲文件，爲客戶端提供了一個便捷的訪問方式，即虛擬的訪問目錄結構 2.文件存儲到hdfs集羣中去的時候是被切分成block（文件數據）的 3.文件的block存放在若干臺datanode節
2020-02-22 09:37:49
原创 Kettle導入excel文件到數據庫
1.下載kettle，我下了7和8兩個版本，自行選擇，lib下是數據庫驅動包 鏈接: https://pan.baidu.com/s/1rEvzfnmqy5dk1WHDXrjgRw 提取碼: fwnv 2.直接解壓即可。在pdi-ce-
2019-09-19 21:44:19
原创 kettle簡介及下載
企業數據倉庫模型： 一、Kettle簡介： ETL簡介 ETL(Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程)，對於企業或行業應用來說，我們經常會遇到各種數據的處理，轉換，遷移，所以瞭解並掌握一種et
2019-09-19 21:44:19
12
原创 Python-Linux-10.遠程管理命令
自己寫的大綱： 01關機和重啓 目標 關機/重啓 shutdown 查看或配置網卡信息 Ifconfig Ping 遠程登錄和複製文件： ssh scp 關機/重啓： 序號 命令 對應英文 作用 01 shut
2019-08-22 22:14:11
原创 Python-Linux-11.SSH-高級
自己寫的大綱： 01確定目標/認識.ssh目錄 免密碼登錄 配置別名 提示:有關SSH配置信息都保存在用戶家目錄下的.ssh目錄下 02免密碼登錄設置步驟 免密碼登錄 步驟： 配置祕鑰 執行ssh-keygen即可生成SSH鑰匙，一路回
2019-08-22 22:14:11