原创 劍指Offer 從尾到頭打印鏈表

輸入一個鏈表,按鏈表值從尾到頭的順序返回一個ArrayList   /** * public class ListNode { * int val; * ListNode next = null; *

原创 劍指Offer 替換空格

請實現一個函數,將一個字符串中的每個空格替換成“%20”。例如,當字符串爲We Are Happy.則經過替換之後的字符串爲We%20Are%20Happy。 !!!不要傻乎乎的要replaceAll() public class So

原创 劍指Offer 二維數組中的查找

       在一個二維數組中(每個一維數組的長度相同),每一行都按照從左到右遞增的順序排序,每一列都按照從上到下遞增的順序排序。請完成一個函數,輸入這樣的一個二維數組和一個整數,判斷數組中是否含有該整數。        時間限制:1秒 

原创 劍指Offer 數組中重複的數字

       在一個長度爲n的數組裏的所有數字都在0到n-1的範圍內。 數組中某些數字是重複的,但不知道有幾個數字是重複的。也不知道每個數字重複幾次。請找出數組中任意一個重複的數字。 例如,如果輸入長度爲7的數組{2,3,1,0,2,5,

原创 SparkSQL 1.x寫法

1.創建SparkContext 2.創建SQLContext 3.創建RDD 4.創建一個類,並定義類的成員變量 5.整理數據並關聯class 6.將RDD轉換成DataFrame(導入隱式轉換) 7.將DataFrame註冊成臨時表

原创 Spark 序列化問題

spark中在driver端實例化的類必須繼承Serializable,而executor端的類沒有此要求(driver端需要通過網絡發到executor中)。 但在excuter中進行實例化會造成內存浪費(一個task實例化一次)。  

原创 SparkSQL WordCount

import org.apache.spark.sql import org.apache.spark.sql.{Dataset, SparkSession} object SparkSQL2 { //常規寫法 // def

原创 Spark 操作jdbc csv json parquet格式文件

1.jdbc文件以及保存到各種格式 package cn.edu360.day7 import java.util.Properties import org.apache.spark.sql.{DataFrame, Dataset

原创 Spark ip歸屬地查詢

sql查詢方式 import org.apache.spark.sql.SparkSession object IPLocationSQL { def main(args: Array[String]): Unit = {

原创 Spark 幾何平均數 自定義函數UDAF

package cn.edu360.day7 import java.lang.Long import org.apache.spark.sql.expressions.{MutableAggregationBuffer, User

原创 Spark TopN

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://w

原创 Spark WordCount

1.lamabda編寫spark    package cn.edu360.spark; import org.apache.spark.SparkConf; import org.apache.spark.api.java.Java

原创 Scala 模式匹配與樣例類

可以匹配的類型: 1)匹配內容 //這裏的=>不是函數,在這裏表示模式匹配,如果匹配上則執行這裏的業務邏輯 //類比法 JAVA : switch case object CaseDemo01 ex

原创 Scala 可變數組與不可變數組

(*)數組 java中的集合都是可變集合 在scala中集合分爲可變集合和不可變集合 不可變數組默認可以使用 長度不可以改變,內容可以改變 可變數組必須引用:import scala.collection.mutab

原创 Scala 函數與方法的區別及簡單用法

package scala import scala.util.control.Breaks object IfDemo { def main(args: Array[String]): Unit = { //