原创 SparkR的安裝配置
1. SparkR的安裝配置 1.1. R與Rstudio的安裝 1.1.1. R的安裝 我們的工作環境都是在Ubuntu下操作的，所以只介紹Ubuntu下安裝R的方法： 1） 在/etc/a
2020-06-28 20:45:05
6
原创 kafka安裝和測試
1. 簡介 kafka （官網地址：http://kafka.apache.org）是一款分佈式消息發佈和訂閱的系統，具有高性能和高吞吐率。 i. 消息的發佈（publish）稱作producer，消息的訂閱（subscribe）稱作c
2020-06-28 20:45:05
原创 用R語言畫柱狀圖
柱狀圖： 源碼： slices <- c(3,1,4,2) names <- c("甲","乙","丙","丁") png("r-graph-sample.png") barplot(beside=TRUE, sli
2020-06-28 20:45:05
原创 Scala集合
這個章節的內容包含 基本數據結構 ListSetTupleMaps 函數組合器 mapforeachfilterzippartitionfinddrop and dropWhilefoldRight and foldLeft
2020-02-26 02:53:16
原创 linux的hostname修改詳解
Linux操作系統的hostname是一個kernel變量，可以通過hostname命令來查看本機的hostname。也可以直接cat /proc/sys/kernel/hostname查看。 #hostname #ca
2020-02-26 02:53:16
原创 Linux下RPM軟件包的安裝與卸載方法
在 Linux 操作系統下，幾乎所有的軟件均通過RPM 進行安裝、卸載及管理等操作。RPM 的全稱爲Redhat Package Manager ，是由Redhat 公司提出的，用於管理Linux 下軟件包的軟件。Linux 安裝時，除了
2020-02-26 02:53:16
原创 超詳細單機版搭建hadoop環境圖文解析
前言： 年前，在老大的號召下，我們糾集了一幫人搞起了hadoop，併爲其取了個響亮的口號“雲在手，跟我走”。大家幾乎從零開始，中途不知遇到多少問題，但終 於在回家之前搭起了一個擁有12臺服務器的集羣，並用命令行在該集羣上運行了一些簡單
2020-02-26 02:53:16
原创 hadoop常用操作命令
啓動Hadoop 進入HADOOP_HOME目錄。執行sh bin/start-all.sh 關閉Hadoop 進入HADOOP_HOME目錄。執行sh bin/stop-all.sh 1、查看指定目錄下內容 hadoop df
2020-02-26 02:53:16
原创 理解maven的核心概念
好久沒進行java方面的開發了，最近又完成了一個java相關的任務，順便重新體會了 maven 這一利器。 在使用過程中發現以前對maven的理解不夠深入，藉此機會重新梳理了一下maven的核心概念。相信理解了這些核心概念， 即使長時
2020-02-26 02:53:16
原创 rpm安裝找不到.so庫文件（linux動態庫連接的相關知識）
1、找不到庫文件的原因 庫文件不存在 這種情況一般是因爲所需要的包沒裝，只要安裝相應的包就可以解決存在而系統不知道 這種情況一般出現在自己編譯軟件時候 確保庫文件所在的路徑已加入系統，在/etc/ld.so.conf文件中設置 用命令
2020-02-26 02:53:16
原创 嵌套類與內部類
定義在一個類內部的類，叫作“嵌套類”。嵌套類分爲兩種：static的和非static的。後者又有一個專門的名字，叫作“內部類”。所以從概念可以看出，嵌套類跟內部類是所屬關係，後者包含於前者。示例代碼如下： class OuterClas
2020-02-26 02:53:16
原创 SPARK搭建中WORKER起不來的恢復方法
我用的CENTER OS V6.2在編譯部署完SPARK 1.1.0和1.2.0後，發現WORKER總是起不來的問題，解決方法分享給大家，希望能有所參考。錯誤信息：SPARK 1.1.0vm1: failed to launch org
2020-02-26 02:53:16
2
原创 rstudio-server安裝問題解決筆記
1、目標及問題 在linux上安裝R語言，並安裝rstudio-server，使用web UI進行R的代碼編寫。源碼編譯安裝的時候問題不大，能夠進入rcmd中，進行相關操作，但是 rstudio-server安裝時問題就比較多了，結果就是
2020-02-26 02:53:16
1
原创 利用SecureCRT連接虛擬機中的ubuntu系統
1、背景描述 最近在琢磨使用SparkR，安裝的時候發現，目前該包只能在linux環境下安裝，windows使用時有許多問題（求大神指導）。 所以在虛擬機中安裝了一個ubuntu，在宿主機與虛擬機之間來回切換時，總是要動鼠標，所以尋思着使
2020-02-26 02:53:16
原创 30個實例詳解TOP命令
Linux中的top命令顯示系統上正在運行的進程。它是系統管理員最重要的工具之一。被廣泛用於監視服務器的負載。在本篇中，我們會探索top命令的細節。top命令是一個交互命令。在運行top的時候還可以運行很多命令。我們也會探索這些命令。
2020-02-26 02:53:16