原创 Java 的對象傳遞

Java 的對象傳遞舉一個簡單的例子說明一下需求:通過關聯兩個類,使可以通過Person 對象獲取所關聯的 Car 類的對象中的數據一個 Person 類,一個 Car 類,==> Person 類class Person{ // 設置變

原创 Spark SQL性能優化

==> 在內存中緩存數據    ---> 性能調優主要是將數據放入內存中操作    ---> 使用例子:// 從 Oracle 數據庫中讀取數據,生成 DataFrame val oracleDF = spark.read.format("

原创 Scala 的文件訪問

==> 讀取行// 讀取行 val source = scala.oi.Source.fromFile("d:\\test\\a.txt") // 將整個文件作爲一個字符串 // 將文件中的每一行讀入==> 讀取字符val source 

原创 Scala 高級算子

==> mapPartitionsWithIndex    ---> 定義: def mapPartitionsWithIndex[U](f:(Int, Iterator[T]) => Iterator[U], preserversPart

原创 Scala 語言之模式匹配(6)

==> Scala 有一個強大的模式匹配機制, 類似於 switch 語句,可以實現對類型的判斷以及檢查,還提供了樣本類,使其可以對樣本類的對象進行模式匹配==> 模式匹配示例var v1 = 0 var ch1 = "-" ch1 mat

原创 Spark 簡介

==> 什麼是 Spark    ---> Spark 是一個針對大規模數據處理的快速通用引擎    ---> Spark 是 MapReduce 的替代方案,而且兼容 HDFS, Hive, 可容入Hadoop 的生態系統,彌補 MapR

原创 Scala 學習之面向對象(3)

==> 類        ---> 類的定義class Student{     // 定義屬性     private var stuName:String = "Tom"     private vat stuAge:Int = 18

原创 Scala語言之數據集合(5)

==> Scala 中的數據集合:Map、列表、序列、集==> 集合有兩種: 可變集合,不可變集合        ---> 可變集合    可以對集合進行修改操作        ---> 不可變集合    集合從不改變,因此可以安全的共享其

原创 Scala 語言學習之語言基礎(2)

注: --------scala 中的任何數據都是對象        --------Scala 可以對數據類型進行自動推導,所以定義變量時可省去數據類型==> 數據類型        --> 數值類型            --- Byt