c# 大數據量比較時-方案

1、當面臨千萬條數據量的比較時，從技術的角度來說應該用泛型鍵值（c#鍵值由於用了散列算法速度很快）。例如前幾天我需要查的是 航空公司、出發、到達、返點可以將 航空公司-出發-到達做一個鍵，返點作爲值。

            if (dtsourceBT.Rows.Count > 0)
            {
                dBaitour = new Dictionary<string, string>();
                foreach (DataRow dr in dtsourceBT.Rows)
                {
                    string outstring = "";
                    string tmpKey = ""; string tmpValue = "";
                    if (!dBaitour.TryGetValue(tmpKey, out outstring))
                    {
                        dBaitour.Add(tmpKey, tmpValue);
                    }
                    else
                    {

                        dBaitour[tmpKey] = "";
                    }
                }
            }

2、從業務角度來優化，這點很重要。因爲所以的程序都不是孤立的。根據業務要求如果這樣做

第一、查出所以的數據（將近5萬條數據）

 string sqlBT = "select ZRateId, DeparturePort,ArrivalPort,airwaycompanycode,CabinCode,RateValue,FlightNumber,NoFlightNumber from b2b_zrate_new where state=1  AND IssuedToDate>=convert(varchar(10),getdate(),120) and outPattern!=3 ORDER BY RateValue desc";
 DataTable dtsourceBT = DbHelper.ExeAll116(sqlBT);

第二、通過航空公司篩調一部分數據（剩下3千條數據）

 DataRow[] drBTS = dtsourceBT.Select(" airwaycompanycode='" + dr["AirCompany"] + "'");

第三、再去比較，這樣數據量變小了。速度就快多了

foreach (DataRow drBT in drBTS)
                    {
                        if (drBT["DeparturePort"].ToString().Contains(drNew["DeparturePort"].ToString()))
                        {
                            if (drBT["ArrivalPort"].ToString().Contains(drNew["ArrivalPort"].ToString()))
                            {
                                if (drBT["CabinCode"].ToString().Contains(drNew["CabinCode"].ToString()))
                                {
                                    drNew["BTPolicyId"] = drBT["ZRateId"];
                                    drNew["BTValue"] = (Convert.ToDecimal(drBT["RateValue"])*100).ToString();
                                    break;
                                }
                            }
                        }
                    }