原创 Scala入門之Map、Tuple
蘑菇雲代碼 package com.dtspark.scala.basics /** * 1,默認情況下Map構造的是不可變的集合，裏面的內容不可修改，一旦修改就變成新的Map，原有的Map內容保持不變； * 2，Map的實例
2020-02-21 17:35:00
原创 Scala入門之控制結構
蘑菇雲課堂代碼 package com.dtspark.scala.basics /** * Scala中的基本控制結構有順序、條件和循環三種方式，這個其它的JVM語言是一致的，但是Scala也有一些高級的流程控制結構類模式匹
2020-02-21 17:35:00
原创 Scala入門之高級類型：結構類型
結構類型 結構類型（Struture Type）通過利用反射機制爲靜態語言添加動態特性，從面使得參數類型不受限於某個已命名的的類型.直接看代碼，更理解理解 package com.dt.scala.moguyun /**
2020-02-21 17:35:00
原创 Scala入門之高級類型:this.type
this.type 在寫Spark程序的代碼中一開始就能看到這代碼： val conf = new SparkConf conf.setAppName("OnlineBlackListFilter").setMas
2020-02-21 17:35:00
原创 Scala入門之Actor
蘑菇雲代碼 由於Spark使用的是Netty做通信，所以這塊做了解就行，故不深入。 package com.dtspark.scala.basics import scala.actors.Actor object Hell
2020-02-21 17:35:00
原创 Spark 中的Tungsten和Catalyst
spark內核的三大核心：基於RDD的調度系統、Tungsten和Catalyst解析優化引擎 Tungsten Tungsten面對： Memory , CPU, Disk IO 和 NetWork IO spark 1.6是第一階段面
2018-08-23 11:18:04
3
原创 Redis的介紹及安裝配置
1.Redis簡介 Redis 是完全開源免費的，遵守BSD協議，是一個高性能的key-value數據庫。 Redis 與其他 key - value 緩存產品有以下三個特點： Redis支持數據的持久化，可以將內存中的數據保存在磁盤中，
2018-08-23 11:18:03
8
原创 Spark廣告點擊項目技術骨架一
1.技術選用 用到的技術有:flume, kafka, spark. 這裏面其實存在生產者，消費者的關係。如下圖： 用戶在一個網站中產生的行爲就是生產者， 被服務器採集到，服務器是一個消費者， 服務器保存的數據再被flume消費，這時
2018-08-23 11:18:02
原创 簡單工廠 Simple Factory Pattern
1.簡單工廠 簡單工廠模式（Simple Factory Pattern），又叫靜態工廠方法模式（Static FactoryMethod Pattern）, 是通過專門定義一個類來負責創建其他類的實例，被創建的實例通常都具有共同的父類。
2018-08-23 11:18:02
原创 Spark SQL電影分析案例
用Spark SQL分析熱門電影的TopN 1.數據結構 數據可以在此下載 https://pan.baidu.com/s/1eSNt6E2#list/path=%2FshareData 文件夾中包含三個數據文件，一個說明文件
2018-08-23 11:17:54
3
原创 投大數據簡歷的原則以及在哪些地方投簡歷最有效？
1.投遞簡歷的原則是什麼？ 兩個字，不挑！ 不挑公司，只要是做大數據的公司都可以投，投上一百家如果有三十家公司面試你，肯定有一家要你！爲什麼？ 因爲面試有經驗了知道哪裏會問，不知道的可以回去再學。 公司去中小公司會比較好。 2.從哪些地
2018-08-23 11:17:54
原创 代理模式 Proxy
1.代理模式 代理模式就是多一個代理類出來，替原對象進行一些操作，比如我們在租房子的時候回去找中介，爲什麼呢？ 因爲你對該地區房屋的信息掌握的不夠全面，希望找一個更熟悉的人去幫你做，此處的代理就是這個意思。 再如我們有的時候打官司，我們需
2018-08-23 11:17:54
原创 hive調優篇一
0.概述 Hive的一般學習者談性能調優的時候一般都會從語法和參數的角度來談優化，而不會革命性的優化Hive的性能。 Hive的核心性能問題往往是在超大規模數據集，例如100億條級別的數據集，以及每天處理上千上萬個Hive作業的情況下產生
2018-08-23 11:17:54
1
原创 Spark 2.0內幕深度解密
Spark 2.0更新要點 1. 支持 sql 2003，支持子查詢 2. DataFrame是DataSet中的一種特例，val dataFrame = DataSet[Row] SQL是沒類型的，DataFrame是弱類
2018-08-23 11:17:53
原创 Spark廣告點擊項目技術骨架二
上節安裝了flume， 下面要安裝kafka, 安裝kafka之前要安裝zookeeper. zookeeper安裝 下載zookeeper-3.4.5後解壓，我放到/usr/soft目錄下 修改/etc/environment ZOO
2018-08-23 11:17:53