原创 MyBatis(二) resultMap使用

1.問題引出:  在做映射時候,之前,按照表DDL的字段名,設置java對象的屬性。但是,在實際應用無法完全保證表字段名與java類屬性完全一致,而且java類應該保持駝峯格式的規範風格。對於類似字段user_id等的情況,不能較好的處理。

原创 java網絡編程

網絡編程:關注底層數據的傳輸。網頁編程:關注與客戶的交互。1.網絡:將不同區域的計算機連接在一起。 例如:  局域網、城域網、互聯網2.地址:IP地址,可以確定你的計算機在互聯網的哪個節點,哪個位置。在網絡上確定一個絕對地址、位置。做一個比

原创 MyBatis(一) 入門使用和簡單實例

Mybatis是一個著名的輕量級持久層框架。在這篇文章中,使用Mybatis框架,實現一個簡單的查詢事例。後面的文章中會再詳細介紹其他用法。首先,需要導入一些使用的jar,包括:mybatis、commons-logging、mysql-c

原创 處理鍵值對RDD

保存Key/Value對的RDD叫做Pair RDD。1.創建Pair RDD:1.1 創建Pair RDD的方式:很多數據格式在導入RDD時,會直接生成Pair RDD。我們也可以使用map()來將之前講到的普通RDD轉化爲Pair RD

原创 集合

集合

原创 Scala對象

1.單例對象相比Java,Scala沒有靜態方法,靜態字段(static修飾),scala中的object有相同功能,定義了某個類的單個實例。下邊是一個object的例子。Accounts.scalapackage com.vip.scal

原创 高階函數

在函數式編程中,函數可以像任何其他數據類型一樣被傳遞和操作。把明細動作包在函數中作爲參數傳入。這篇文章包含如下主要內容:1.可以創建匿名函數,並把匿名函數交給其他函數。2.許多集合方法都接受函數參數,將函數應用到集合中的值。3.可以創建操作

原创 Linux學習記錄

1.虛擬機網絡設置、Linux網絡設置:在配置虛擬機時,有3種我們經常需要選擇的網絡配置方式,分別是:橋接模式、NAT模式、Host Only模式。如下圖所示:如果選擇了“橋接模式”,表示虛擬機使用的是本機真實的網卡。也就是網卡截圖中的有線

原创 Play Template引擎

Play擁有高效的模板系統。Template引擎使用Groovy作爲表達式語言。Play的模板保存在app/views目錄下。1.Template語法:1.1.Expressions: ${…}輸出變量的值。例如:${frontPost.t

原创 spark監控調優

一、Spark運行時架構:Spark分佈式結構採取 主/從 結構模式。主是驅動器(Driver)節點,這個節點負責中央協調,調度各個工作(執行器executor)節點。從是執行器(executor)節點。Spark驅動器節點和執行器節點統稱

原创 Spark介紹,安裝

1.簡單介紹和安裝:(1)Spark使用scala編寫,運行在JVM(java虛擬機)上。所以,安裝Spark需要先安裝JDK。安裝好java後,到官網下載安裝包(壓縮文件):http://spark.apache.org/download

原创 Github使用介紹

Github使用介紹。

原创 RDD編程

1.RDD基礎:  Spark中RDD是不可變的分佈式對象集合。每個RDD被分爲多個分區,這些分區運行在集羣中的不同節點上。RDD可以包含任意類型的對象(甚至可以是自定義的)。 前面講到,Spark包含轉化操作和行動操作。Spark只會惰性

原创 操作符

操作符會涉及到以下部分的內容:1.實現自己的操作符;2.隱式轉換(自動被應用的類型轉換);3.apply、udpate和unapplay這些特殊方法。1.中置操作符:Scala中包含下邊的表達式:a 標識符 b其中的標識符代表一個帶有兩個參

原创 文件和正則表達式

1.讀取行要讀取文件中的所有行,可以調用scala.io.Source對象的getLines方法。import scala.io.Source //第一個參數可以是java.io.File,或者String。 val source = S