原创 NodeManager啓動失敗--防火牆篇
Hadoop環境CDH4.4 今天年後第一天上班（實習中），還過一個月，實習第一份實習合同就到期了~ Hadoop集羣的虛擬環境看上去太亂，所以就將3個節點（1master + 2Slaves）重啓，結果NodeManager啓動失敗。查
2020-07-04 16:49:38
原创 R安裝所有包的命令
availablePackages <- available.packages()[,1] install.packages(availablePackages)
2020-07-04 16:49:38
1
原创 Programming Hive Chapter3 （數據類型和文件格式）
-----------------------------------------------------------------------------------------------------------------------
2020-07-04 16:49:38
原创 【Scala學習筆記】4. For、Function、Lazy
For for循環之前已經提到過，這裏做進階介紹： for (i <- 1 to 2;j <- 1 to 2 if i != j) println(100*i + j + " ") 可以加入條件表達式，當然，條件表達式可以非
2020-07-04 16:49:38
1
原创 【Scala學習筆記】1. Hello Scala
Scala開發環境搭建 Scala是一門函數式面向對象編程語言。 函數式編程——擅長數值計算 面向對象編程——大型工程、項目的組織和團隊的分工協作 目前最爲炙手可熱的大數據框架Spark是用Scala寫的。Scala是基於J
2020-07-04 16:49:38
1
原创 Hive內置函數的使用（1）
工作中用到了一些，總結一下： 1、 行拆分、合併 1． 分拆explode(ARRAY) 返回值：多行 SELECT explode(myCol) AS myNewCol FROM myTable; 注：1.使用UDTF函數時，se
2020-02-20 19:10:28
原创 Linux下忘記root密碼怎麼辦？
1．首先確認服務器出於安全的狀態，也就是沒有人能夠任意地連接MySQL數據庫。 因爲在重新設置MySQL的root密碼的期間，MySQL數據庫完全出於沒有密碼保護的 狀態下，其他的用戶也可以任意地登錄和修改MySQL的信息。可以採用
2020-02-20 19:10:28
原创 【Scala學習筆記】2. 函數定義、流程控制、異常處理
Scala深入淺出實戰 第2講 by 王家林 本節都是比較簡單的介紹，更具體的內容會在後面的視頻中具體講解。 函數定義 下面以main函數來說明函數的一般定義： object HelloScala { def main(ar
2020-02-20 19:10:28
原创 【Scala學習筆記】3. Tuple、Array、Map
Scala深入淺出實戰 第3講 by 王家林 建議採用Scala Work Sheet進行本節實驗 Tuple 元組，元組中可以由很多數據，讀取Tuple數據時使用._的方式讀取，並且索引從1開始。經常用Tuple接受函數的返回
2020-02-20 19:10:28
原创 【Spark1.6官方翻譯】Spark快速入門
英文標題：Quick Start 英文原址：http://spark.apache.org/docs/latest/quick-start.html Spark Version:1.6.0 使用Spark Shell進行
2020-02-20 19:10:28
原创 【Spark1.3官方翻譯】Spark集羣模式概覽
英文標題：Cluster Mode Overview 英文原址：http://spark.apache.org/docs/latest/cluster-overview.html Spark Version:1.3.1(201
2020-02-20 19:10:28
原创 error while loading shared libraries的解決方法
自己編譯一些程序，而程序難免會引用到別的so文件，但是有些so問總是找不到。報：error while loading shared libraries類似的錯誤。 ./Rserve: error while loading sha
2020-02-20 19:10:28
原创 Linux下Python 2.7 & easy_install 安裝
Python 2.7.3 1.wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz 2.tar zxf Python-2.7.3.tgz 3.cd Python-2.7.
2020-02-20 19:10:28
原创 Hive權限控制和超級管理員的實現
Hive權限機制： Hive從0.10可以通過元數據控制權限。但是Hive的權限控制並不是完全安全的。基本的授權方案的目的是防止用戶不小心做了不合適的事情。 先決條件： 爲了使用Hive的授權機制，有兩個參數必須在hive-si
2020-02-20 19:10:28
1
原创 Rserve執行報錯
自己編譯一些程序，而程序難免會引用到別的so文件，但是有些so問總是找不到。報：error while loading shared libraries類似的錯誤。 ./Rserve: error while loading shar
2020-02-20 19:10:28