原创 企業大數據平臺一:企業需求及相關的基本組件

企業大數據平臺一:企業需求及相關的基本組件 標籤(空格分隔): 企業大數據平臺 企業大數據平臺一企業需求及相關的基本組件 一企業需求 二基本組件 一,企業需求: 第一方面: 數據分析: * Map

原创 spark性能調優一--常規調優

一分配更多的資源 二設置spark application的並行度 三RDD架構重構和優化 四廣播大變量 五在項目中使用Kryo序列化 六在項目中使用fastutil框架 七調節本地化等待時長 一,分配更多的資源 b

原创 企業大數據平臺三:企業大數據平臺安裝

企業大數據平臺三:企業大數據平臺安裝 標籤(空格分隔): 企業大數據平臺 企業大數據平臺三企業大數據平臺安裝 一CM 5x介紹 二CM安裝 三添加集羣 四問題解決 一,CM 5.x介紹 分佈式: –主節點:Cl

原创 spark性能調優二--JVM調優

一降低cache佔比 二調節exector堆外內存與連接等待時長 一,降低cache佔比 SparkConf conf = new SparkConf() .setAppNam

原创 jvm_outofmemory_JavaVMStackOOM

package cn.itcast_03_jvm.outofmemory; /**  * 線程導致內存溢出異常   * VM Args:-Xss2M

原创 scala學習六:scala函數式編程進階

scala學習六:scala函數式編程進階 標籤(空格分隔): scala scala學習六scala函數式編程進階 一集合 二列表 三序列 四集 五模式匹配 六Case Class 一,集合 不可變集合:集合的元素

原创 jvm_outofmemory_HeapOOM

package cn.itcast_03_jvm.outofmemory; import java.util.ArrayList; import j

原创 scala學習八:scala的actor

scala學習八:scala的actor 標籤(空格分隔): scala [Toc] 一,actor的創建和使用 import scala.actors._ //Actor是一個抽象類 class HiActor extend

原创 jvm_demo_TestThread

package cn.itcast_03_jvm.demo; import java.io.BufferedReader; import java.

原创 Redis學習一:Redis初步

Redis學習一:Redis初步 標籤(空格分隔): Redis 一,edis是什麼: Redis is an open source, BSD licensed, advanced key-value store. It is

原创 Redis學習三:redis的sentinel使用

Redis學習三:redis的sentinel使用 標籤(空格分隔): Redis 一,手動修改 運行時更改master-slave 修改一臺slave(設爲A)爲new master 1) 命令該服務不做其他redis服

原创 jvm_outofmemory_

package cn.itcast_03_jvm.outofmemory; import java.lang.reflect.Field; impo

原创 scala學習七:scala的高級特性

scala學習七:scala的高級特性 標籤(空格分隔): scala 一,泛型類 類和特質可以帶類型參數,使用[]來定義類型參數 //T:泛型類的類型 class GenericClass[T]{ private va

原创 jvm_demo_TestDeadThread

package cn.itcast_03_jvm.demo; import java.util.ArrayList; /**  * 64kb/50毫

原创 spark性能調優三--shuffle調優

shuffle原理 一,合併map端輸出文件 SparkConf conf = new SparkConf() .setAppName(Constants.SPARK_APP_NAME_SES