Idea上，spark連接SQLserver處理數據

原創

2019-03-16 17:22

需要在pom.xml中加入

<dependency>
　　　　<groupId>com.microsoft.sqlserver</groupId>
　　　　<artifactId>sqljdbc4</artifactId>
　　　　<version>4.0</version>
　　</dependency>

demo代碼：

import java.sql.{DriverManager, ResultSet}

import org.apache.spark.sql.SparkSession
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable.ArrayBuffer

object SparkTest {
  def main(args: Array[String]): Unit = {
       val spark = SparkSession
      .builder()
      .master("local[2]")
      .appName("example")
      .config("spark.sql.warehouse.dir", "file:///e:/tmp/spark-warehouse")
      .getOrCreate()
    import spark.implicits._

   val jdbcDF = spark.read.format("jdbc")
      .option("url","jdbc:sqlserver://ip:1433/data_ls")
      .option("driver","com.microsoft.sqlserver.jdbc.SQLServerDriver")
      .option("dbtable","tableName")
      .option("user","root")
      .option("password","root")
      .load()
    jdbcDF.show()
  }
}

虛擬機搭建centos7，爲後面用cdh搭建集羣做準備。centos7配置靜態IP步驟：

1.cd /etc/sysconfig/network-scripts，修改網卡配置文件：vi ifcfg-ens33:

開始默認配置如下：

TYPE="Ethernet"
BOOTPROTO="dhcp"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
NAME="eno16777736"
UUID="157c8fb5-23b3-414c-8519-25bef9b20a54"
DEVICE="ens33"
ONBOOT="no"

需要修改爲:

TYPE="Ethernet"
#BOOTPROTO="dhcp"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
NAME="eno16777736"
UUID="157c8fb5-23b3-414c-8519-25bef9b20a54"
DEVICE="ens33"
#static assignment
NM_CONTROLLED=no #表示該接口將通過該配置文件進行設置，而不是通過網絡管理器進行管理
ONBOOT=yes #開機啓動
BOOTPROTO=static #靜態IP
DNS1=8.8.8.8
DNS2=8.8.4.4
IPADDR=192.168.210.20 #本機地址
NETMASK=255.255.255.0 #子網掩碼
GATEWAY=192.168.210.2 #默認網關

最後三個參數如圖配置：