原创 scala學習-if,while,for,try用法7
1 if scala中的所有控制結構都是有返回值得。 scala中的if和java中的都差不多。就是風格不同 scala變成風格如下： object ContolTest { def main(args:A
2020-06-17 06:40:06
原创 ntp-實現時間同步
一背景介紹 已經安裝好crontab和ntp，系統centos6.5，一般不是最小化安裝都會有哈。集羣一定要搭建時間同步機制，不然運行久了，job運行會非常慢。 二搭建內網NTP服務器，通過此服務器進行時間同步 1修改配置文件
2020-06-17 05:40:07
1
原创 centos使用rpm安裝mysql
centos使用rpm安裝mysql 本Markdown編輯器使用[StackEdit][6]修改而來，用它寫博客，將會帶來全新的體驗哦： 環境：centos6.5,mysql5.6 mysql5.6安裝 1下載資源： MyS
2020-06-17 05:40:07
原创 scala學習-基本語法3
上接scala學習計算開始基本語法2 接上一篇的一點尾巴 第九步：讀取文件操作 讀取文件中的每行，讀取文件，然後每行打印出來，使用相對路徑，data目錄裏放在工程裏。 import scala.io.Source val f
2020-06-17 05:40:07
原创 scala學習計算開始基本語法2
上接scala學習開始基本語法1 第五步：數組的使用 在scala中，可以使用new來實例化對象，當你創建一個數組對象的時候，你可以使用數值或者是類型參數。但是在scala中，是使用[]來指明對象，java是使用<>。如下代碼
2020-06-17 04:49:54
原创 scala學習-基本語法4
類和對象2： 前面提到，Scala是面向對象的編程，且Scala不允許保護靜態元素-靜態方法和靜態變量。意思是社麼呢，就是我雖然使用Private 定義了變量，在外面我還是可以訪問。 package org.wq.learn o
2020-06-17 04:49:54
原创 scala學習-介紹scala的幾種特性6
案例來自於引路蜂 本文介紹完整的定義一個類。定義函數化對象，函數化對象的意思是所定義的類和對象都不包含任何可以修改的狀態。還會介紹Scala的幾種特性：類參數和構造函數，方法，操作符，私有成員，重載，過載，條件查詢，引用自身。
2020-06-17 04:49:54
原创 shell半自動化部署standalone的spark分佈式集羣
背景：以前每次配置hadoop和spark都要各種輸入配置，太煩了。這次花了點時間，自己做了個shell來輔助自己的spark部署方式。cdh的hadoop沒有部署，以後再部署，hadoop和spark準備分開來搞。 shell半
2020-02-21 05:23:03
1
原创 百分點蘇海波-用戶畫像的構建與使用2應用
轉載自百分點蘇海波 上篇寫了畫像的理論性的知識，這篇學習下應用。 用戶畫像的具體應用包括售前的精準營銷，售中的個性化推薦以及售後的增值服務等。用戶的標籤緯度和應用是相互相城的關係，一面可以根據現有的標籤緯度開發應用，另一方
2020-02-21 05:23:03
1
原创 scala學習-基本數據類型和簡單操作5
1基本數據類型 只要是java的基本數據類型，Scala都支持。不過Scala中的數據類型都是對象，這些基本類型都可以通過隱式自動轉化的形式支持更多的方法。隱式自動轉換的概念簡單的就是，爲基本類型提供擴展，比如（引路蜂例子），調
2020-02-21 05:23:02
原创 scala學習-介紹scala的幾種特性7
承接上篇，前提條件檢查，使用require。 1添加成員變量 記得上篇的時候，使用了類參數的方式來構建主構造函數，但是這是由缺陷的。 現在我們構建一個兩個rational相加的操作。 class Rational (n:In
2020-02-21 05:23:02
原创 Hive on Spark：起點
翻譯自官網： https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started 開始時翻譯，後面會出集成的具體步驟。主要是講了一
2020-02-21 05:23:02
原创 hbase的table設計（翻譯官網）-爲完成
HBase and Schema Design 從官網翻譯的，怎麼設計hbase表 32 Schema Creation hbase的schema使用hbase的shell命令和使用JavaAPI的Admin類來創建和更
2020-02-21 05:23:02
原创 Git與Github快速學習上手
一Github的學習和上手資料總結 對於我這種小白來說，git與github以前只聽過大名，今天看了一篇博客之後，感覺別人寫的很好，這裏我大家分享下.看他的博客的話， 大楷2個小時，就基本比較瞭解git和github，並且可以練
2020-02-21 05:23:02
原创 如何從菜鳥成長成spark大數據高手（轉載+自我筆記）
如何從菜鳥成長成spark大數據高手（轉載+自我筆記） 以後會出各種關於hadoop，spark，機器學習專題，新手筆記，大家多多提意見。 Spark採用了一個統一的技術堆棧解決了雲計算大數據的如流式處理，圖技術，機器學習，no
2020-02-21 05:23:02