PySpark訪問MySQL失敗：java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

PySpark訪問MySQL常見錯誤

1、缺少MySQL的數據庫驅動包

如果出現下面的錯誤碼，大家很清楚的知道是缺少mysql數據庫驅動包 mysql-connector-java-5.1.27-bin.jar類似的jar包，下載地址：mysql-connector-java-5.1.27-bin.jar，但是這個jar包是添加到哪個目錄下可能都不太清楚，接着往下看。。。。。。

: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	at org.apache.spark.sql.execution.datasources.jdbc.DriverRegistry$.register(DriverRegistry.scala:45)
	at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$5.apply(JDBCOptions.scala:99)
	at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions$$anonfun$5.apply(JDBCOptions.scala:99)
	at scala.Option.foreach(Option.scala:257)
	at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:99)
	at org.apache.spark.sql.execution.datasources.jdbc.JDBCOptions.<init>(JDBCOptions.scala:35)
	at org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:32)
	at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:318)
	at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:223)
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:211)
	at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:167)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
	at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357)
	at py4j.Gateway.invoke(Gateway.java:282)
	at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
	at py4j.commands.CallCommand.execute(CallCommand.java:79)
	at py4j.GatewayConnection.run(GatewayConnection.java:238)
	at java.lang.Thread.run(Thread.java:748)

出現了這個錯誤，那你必須清楚你的程序運行spark的是哪種模式，一般有兩種：

1. 單獨部署的Spark路徑下的python
2. 使用anaconda部署的python，然後用pip 安裝的pyspark包

1.1、使用單獨部署的Spark路徑下的python模塊

這種情況下，一般的PYTHONPATH會設置爲 $SPARK_HOME/python，這個時候只需要將mysql-connector-java-5.1.27-bin.jar添加到 $SPARK_HOME/jars 下就行

1.2、使用anaconda部署的python虛擬環境

一般在正式環境下，爲了避免開發人員對python環境的污染，系統會採用anaconda或者docker部署純淨的python環境進行代碼開發和程序部署。

這種情況下，當然先要知道虛擬環境的部署目錄，例如我的虛擬環境叫python_common，路徑爲D:\soft\Anaconda3\envs\python_common，這時候只需要把mysql-connector-java-8.0.12.jar拷貝到D:\soft\Anaconda3\envs\python_common\Lib\site-packages\pyspark\jars下，然後重啓你的notebook或者命令行就行了。

1.3、補充一下spark訪問Mysql的代碼

def load_table_myspark(sparkSession, comm, table_name):
    """
    :argument 將MySQL策略庫中的策略組合加載到程序中
    :param sparkSession
    :param comm: common配置模塊
    :param table_name: 要查詢的表名，表名可以是原始表名，也可以是(select * from t) as t 這種構造表
    :return: spark DataFrame
    """
    df = None
    db_config = comm.db_config
    try:
        df = sparkSession.read.format('jdbc').options(
            url=db_config['url'],
            driver=db_config['driver'],
            dbtable=table_name,
            user=db_config['user'],
            password=db_config['password']
        ).load()
    except Exception as e:
        print("-----數據加載失敗，錯誤異常信息：", e)
    return df