SparkSql讀取數據和插入數據

一、sparksql讀寫mysql數據

1.讀取

val url = "jdbc:mysql://主機名:端口號"
val tableName = "db_name"
val properties = new java.util.Properties()
properties.put("user", "username")
properties.put("password", "password")
val tbDeptDF = sqlContext.
               read. // 獲取數據讀取對象
               jdbc(url, tableName, properties)

2.寫入

val url = "jdbc:mysql://主機名:端口號"
val tableName = "db_name"
val properties = new java.util.Properties()
properties.put("user", "username")
properties.put("password", "password")
df.write.jdbc(url, tableName, properties)
// df.write.mode("append").jdbc(url, tableName, properties)//追加寫入
//df.write.mode("overwrite").jdbc(url, tableName, properties)//重新寫入
// df.write.mode("ignore").jdbc(url, tableName, properties)//忽略寫入

二、sparksql讀寫parquet格式的數據

1.讀取

val df1 = sqlContext.
          read. // 獲取數據讀取對象
          format("parquet"). // 指定格式
          load("/存儲路徑")
val df1 = sqlContext.
          read. // 獲取數據讀取對象
          format("parquet"). // 指定格式
          load("/存儲路徑")//可以是文件夾，也可以是指定文件

2.寫入

df. write. // DF數據寫出對象
              format("parquet"). // 指定文件格式
              mode("overwrite"). // 給定模式是覆蓋
              save("/路徑") // 給定保存路徑，存在在hdfs
df.repartition(3). // 重置分區數量爲3個
              write. // DF數據寫出對象
              format("parquet"). // 指定文件格式
              mode("overwrite"). // 給定模式是覆蓋
              save("/路徑") // 給定保存路徑，存在在hdfs