mysql數據插入效率比較

今天小編就爲大家分享一篇關於mysql數據插入效率比較，小編覺得內容挺不錯的，現在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧

做數據插入時，發現之前上班做哪些辦公系統壓根就沒考慮過數據庫性能這些，因爲涉及的數據量小，時間和效率看不出來，可當數據量很大了，大到了每秒需要10000次插入時，這時就不得不考慮你的sql 語句了。當插入100條數據，能想到的數據插入方式：

1：for循環100次，一次次插入數據。連接一次插入100次，這樣是最費時間的也是最費IO和連接的；

2：將100數據插入語句組成一個sql語句，然後連接一次，插入數據。這種費時比第一種要好。

3：使用事物，100次插入，最後一次事物commit; 這種比第二種更快；

4：使用insert語句本身的多數據插入；

當以上方法在少量的數據面前，幾乎沒什麼差別，我們壓根感覺不出來。可是，當數據量稍微提大點，比如一次10000條數據。插入的速度效率就出來；

這是mysql實例類；此實例提供mysql的連接，和數據庫相關操作

public class MySqlInstance
  {
    //連接字符串
    private static string mySqlConnectionStr = "Server =localhost;Database=test;Uid=root;Pwd=password.1;";
    private static MySqlConnection _mysqlConnect;
    private static MySqlConnection mysqlConnect
    {
      get
      {
        if (null == _mysqlConnect)
        {
          _mysqlConnect = new MySqlConnection(mySqlConnectionStr);
        }
        return _mysqlConnect;
      }
    }
    private static MySqlCommand _mysqlCommand;
    private static MySqlCommand mysqlCommand
    {
      get
      {
        if (null == _mysqlCommand)
        {
          _mysqlCommand = mysqlConnect.CreateCommand();
        }
        return _mysqlCommand;
      }
    }
    //打開連接
    public static void OpenConnect()
    {
      mysqlConnect.Open();
    }
    //關閉連接
    public static void CloseConnect()
    {
      mysqlConnect.Close();
    }
    public static MySqlConnection Connection
    {
      get
      {
        return mysqlConnect;
      }
    }
    //防注入方式的插入數據
    //使用事務 10000插入，最後才一次事務提交
    public static int InsertData(string Command, List<MySqlParameter> Params)
    {
      //程序時間監控
      Stopwatch sw = new Stopwatch();
      //程序計時開始
      sw.Start();
      OpenConnect();
      //事務開始
      MySqlTransaction trans = mysqlConnect.BeginTransaction();
      mysqlCommand.CommandText = Command;
      mysqlCommand.Parameters.AddRange(Params.ToArray());
      int count = 0;
      for (int i = 0; i < 10000; i++)
      {
        if (mysqlCommand.ExecuteNonQuery() > 0)
          count++;
      }
      //事務提交
      trans.Commit();
      CloseConnect();
      mysqlCommand.Parameters.Clear();
      //計時停止
      sw.Stop();
      TimeSpan ts2 = sw.Elapsed;
      Console.WriteLine(ts2.TotalMilliseconds);
      return count;
    }
    //查詢出來的是MySqlDataReader 要使用就不能關閉連接
    public static MySqlDataReader SelectData(string sql)
    {
      Stopwatch sw = new Stopwatch();
      sw.Start();
      // OpenConnect();
      MySqlCommand newcommond = new MySqlCommand(sql, mysqlConnect);
      MySqlDataReader data = newcommond.ExecuteReader();
      // CloseConnect();
      sw.Stop();
      TimeSpan ts2 = sw.Elapsed;
      Console.WriteLine(ts2.TotalMilliseconds);
      return data;
    }
    /// <summary>
    /// 查詢出來的是數據集合
    /// </summary>
    /// <param name="sql"></param>
    /// <returns></returns>
    public static DataSet SelectDataSet(string sql)
    {
      MySqlCommand newcommond = new MySqlCommand(sql, mysqlConnect);
      MySqlDataAdapter adapter = new MySqlDataAdapter();
      adapter.SelectCommand = newcommond;
      DataSet ds = new DataSet();
      adapter.Fill(ds);
      return ds;
    }
    //不安全插入 有注入
    public static int InsertDataSql(string sql)
    {
      // OpenConnect();
      mysqlCommand.CommandText = sql;
      int count = mysqlCommand.ExecuteNonQuery();
      // CloseConnect();
      return count;
    }
    //安全插入 參數使用@
    //不使用事務 10000次插入
    public static int InsertDataNoTran(string Command, List<MySqlParameter> Params)
    {
      Stopwatch sw = new Stopwatch();
      sw.Start();
      OpenConnect();
      mysqlCommand.CommandText = Command;
      mysqlCommand.Parameters.AddRange(Params.ToArray());
      int count = 0;
      for (int i = 0; i < 10000; i++)
      {
        if (mysqlCommand.ExecuteNonQuery() > 0)
          count++;
      }
      CloseConnect();
      mysqlCommand.Parameters.Clear();
      sw.Stop();
      TimeSpan ts2 = sw.Elapsed;
      Console.WriteLine(ts2.TotalMilliseconds);
      return count;
    }
    //一次性拼10000個插入語句一次性提交
    public static void test4()
    {
      Stopwatch sw = new Stopwatch();
      sw.Start();
      MySqlInstance.OpenConnect();
      MySqlTransaction tran = MySqlInstance.Connection.BeginTransaction();
      string command = string.Empty;
      for (int i = 0; i < 10000; i++)
      {
        string temp = string.Format("insert into test.testtable(pname,pwd) value ('{0}','{1}'); \r\n", "name" + i, "password." + i);
        command += temp;
      }
      MySqlInstance.InsertDataSql(command);
      tran.Commit();
      MySqlInstance.CloseConnect();
      sw.Stop();
      TimeSpan ts2 = sw.Elapsed;
      Console.WriteLine(ts2.TotalMilliseconds);
    }
 }

最後建立控制檯程序，分別使用事務提交，不使用事務，和拼接10000條插入在組成事務，這三種方式做一個測試，打印出耗時。結果如圖：

可以看到：10000次插入使用事務提交只用時4.7秒，而不使用事務用時311秒，拼裝成10000次insert語句的耗時7.3秒。這裏面耗時7.3秒的，理論上，在數據庫sql執行上也應該和使用事務差不多，這裏的耗時主要是用作字符串的拼接上，客戶端耗時比較多；

貼上測試程序代碼：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using MySql.Data;
using MySql.Web;
using MySql.Data.MySqlClient;
using System.Diagnostics;
using System.Data;
namespace mysqlDEMO01
{
  class Program
  {
    static void Main(string[] args)
    {      
      testInsert();
      Console.ReadLine();
    }
    //使用安全防注入 參數使用@ ，安全插入。
    public static void testInsert()
    {
      List<MySqlParameter> lmp = new List<MySqlParameter>();
      lmp.Add(new MySqlParameter("@pname", "hello2"));
      lmp.Add(new MySqlParameter("@pwd", "1232"));
      string command = " insert into test.testtable(pname,pwd) value(@pname,@pwd); ";
      MySqlInstance.InsertData(command, lmp);
      List<MySqlParameter> lmp2 = new List<MySqlParameter>();
      lmp2.Add(new MySqlParameter("@pname", "hello2"));
      lmp2.Add(new MySqlParameter("@pwd", "1232"));
      MySqlInstance.InsertDataNoTran(command, lmp2);
      test4();
    }
   }
}

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對神馬文庫的支持。如果你想了解更多相關內容請查看下面相關鏈接