原创 Java 的對象傳遞
Java 的對象傳遞舉一個簡單的例子說明一下需求:通過關聯兩個類,使可以通過Person 對象獲取所關聯的 Car 類的對象中的數據一個 Person 類,一個 Car 類,==> Person 類class Person{ // 設置變
原创 Spark SQL性能優化
==> 在內存中緩存數據 ---> 性能調優主要是將數據放入內存中操作 ---> 使用例子:// 從 Oracle 數據庫中讀取數據,生成 DataFrame val oracleDF = spark.read.format("
原创 Scala 的文件訪問
==> 讀取行// 讀取行 val source = scala.oi.Source.fromFile("d:\\test\\a.txt") // 將整個文件作爲一個字符串 // 將文件中的每一行讀入==> 讀取字符val source
原创 Scala 高級算子
==> mapPartitionsWithIndex ---> 定義: def mapPartitionsWithIndex[U](f:(Int, Iterator[T]) => Iterator[U], preserversPart
原创 Scala 語言之模式匹配(6)
==> Scala 有一個強大的模式匹配機制, 類似於 switch 語句,可以實現對類型的判斷以及檢查,還提供了樣本類,使其可以對樣本類的對象進行模式匹配==> 模式匹配示例var v1 = 0 var ch1 = "-" ch1 mat
原创 Spark 簡介
==> 什麼是 Spark ---> Spark 是一個針對大規模數據處理的快速通用引擎 ---> Spark 是 MapReduce 的替代方案,而且兼容 HDFS, Hive, 可容入Hadoop 的生態系統,彌補 MapR
原创 Scala 學習之面向對象(3)
==> 類 ---> 類的定義class Student{ // 定義屬性 private var stuName:String = "Tom" private vat stuAge:Int = 18
原创 Scala語言之數據集合(5)
==> Scala 中的數據集合:Map、列表、序列、集==> 集合有兩種: 可變集合,不可變集合 ---> 可變集合 可以對集合進行修改操作 ---> 不可變集合 集合從不改變,因此可以安全的共享其
原创 Scala 語言學習之語言基礎(2)
注: --------scala 中的任何數據都是對象 --------Scala 可以對數據類型進行自動推導,所以定義變量時可省去數據類型==> 數據類型 --> 數值類型 --- Byt