高併發分佈式解決方案_java分佈式併發解決方案

對於我們開發的網站,如果網站的訪問量非常大的話,那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程序員頭疼的問題,

但話又說回來了,既然逃避不掉,那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。

爲了更好的理解併發和同步,我們需要先明白兩個重要的概念:同步和異步

   1、同步和異步的區別和聯繫

   所謂同步,可以理解爲在執行完一個函數或方法之後,一直等待系統返回值或消息,這時程序是出於阻塞的,只有接收到

        返回的值或消息後才往下執行其它的命令。

        異步,執行完函數或方法後,不必阻塞性地等待返回值或消息,只需要向系統委託一個異步過程,那麼當系統接收到返回

        值或消息時,系統會自動觸發委託的異步過程,從而完成一個完整的流程。

         同步在一定程度上可以看做是單線程,這個線程請求一個方法後就待這個方法給他回覆,否則他不往下執行(死心眼)。

        異步在一定程度上可以看做是多線程的(廢話,一個線程怎麼叫異步),請求一個方法後,就不管了,繼續執行其他的方法。

 

    同步就是一件事,一件事情一件事的做。
        異步就是,做一件事情,不引響做其他事情。

例如:吃飯和說話,只能一件事一件事的來,因爲只有一張嘴。
                但吃飯和聽音樂是異步的,因爲,聽音樂並不引響我們吃飯。

 

        對於Java程序員而言,我們會經常聽到同步關鍵字synchronized,假如這個同步的監視對象是類的話,那麼如果當一個對象

        訪問類裏面的同步方法的話,那麼其它的對象如果想要繼續訪問類裏面的這個同步方法的話,就會進入阻塞,只有等前一個對象

        執行完該同步方法後當前對象才能夠繼續執行該方法。這就是同步。相反,如果方法前沒有同步關鍵字修飾的話,那麼不同的對象

        可以在同一時間訪問同一個方法,這就是異步。

      

        在補充一下(髒數據和不可重複讀的相關概念):

       髒數據

  髒讀就是指當一個事務正在訪問數據,並且對數據進行了修改,而這種修改還沒有提交到數據庫中,這時,另外一個事務也訪問這個數據,然後使用了這

個數據。因爲這個數據是還沒有提交的數據,那麼另外一個事務讀到的這個數據是髒數據(Dirty Data),依據髒數據所做的操作可能是不正確的。

 

   不可重複讀

 

  不可重複讀是指在一個事務內,多次讀同一數據。在這個事務還沒有結束時,另外一個事務也訪問該同一數據。那麼,在第一個事務中的兩次讀數據之間,由於第二個事務的修改,那麼第一個事務兩次讀到的數據可能是不一樣的。這樣就發生了在一個事務內兩次讀到的數據是不一樣的,因此稱爲是不可重複讀

 2、如何處理併發和同步

        今天講的如何處理併發和同同步問題主要是通過鎖機制。

       我們需要明白,鎖機制有兩個層面。

       一種是代碼層次上的,如java中的同步鎖,典型的就是同步關鍵字synchronized,這裏我不在做過多的講解,

       感興趣的可以參考:http://www.cnblogs.com/xiohao/p/4151408.html

       另外一種是數據庫層次上的,比較典型的就是悲觀鎖和樂觀鎖。這裏我們重點講解的就是悲觀鎖(傳統的物理鎖)和樂觀鎖。

       悲觀鎖(Pessimistic Locking):       

       悲觀鎖,正如其名,它指的是對數據被外界(包括本系統當前的其他事務,以及來自 外部系統的事務處理)修改持保守態度,因此,

       在整個數據處理過程中,將數據處於鎖定狀態。

       悲觀鎖的實現,往往依靠數據庫提供的鎖機制(也只有數據庫層提供的鎖機制才能 真正保證數據訪問的排他性,否則,即使在本系統

       中實現了加鎖機制,也無法保證外部系 統不會修改數據)。 

       一個典型的倚賴數據庫的悲觀鎖調用: 

       select * from account where name=”Erica” for update

       這條 sql 語句鎖定了 account 表中所有符合檢索條件( name=”Erica” )的記錄。

       本次事務提交之前(事務提交時會釋放事務過程中的鎖),外界無法修改這些記錄。 
       Hibernate 的悲觀鎖,也是基於數據庫的鎖機制實現。 
       下面的代碼實現了對查詢記錄的加鎖:

       String hqlStr ="from TUser as user where user.name='Erica'";

        Query query = session.createQuery(hqlStr);

        query.setLockMode("user",LockMode.UPGRADE); // 加鎖

       List userList = query.list();// 執行查詢,獲取數據

       query.setLockMode 對查詢語句中,特定別名所對應的記錄進行加鎖(我們爲 TUser 類指定了一個別名 “user” ),這裏也就是對

      返回的所有 user 記錄進行加鎖。 

      觀察運行期 Hibernate 生成的 SQL 語句: 
      select tuser0_.id as id, tuser0_.name as name, tuser0_.group_id
      as group_id, tuser0_.user_type as user_type, tuser0_.sex as sex
      from t_user tuser0_ where (tuser0_.name='Erica' ) for update
     這裏 Hibernate 通過使用數據庫的 for update 子句實現了悲觀鎖機制。 
      Hibernate 的加鎖模式有: 
      Ø LockMode.NONE : 無鎖機制。 
      Ø LockMode.WRITE : Hibernate 在 Insert 和 Update 記錄的時候會自動獲取
      Ø LockMode.READ : Hibernate 在讀取記錄的時候會自動獲取。 
      以上這三種鎖機制一般由 Hibernate 內部使用,如 Hibernate 爲了保證 Update
      過程中對象不會被外界修改,會在 save 方法實現中自動爲目標對象加上 WRITE 鎖。 
      Ø LockMode.UPGRADE :利用數據庫的 for update 子句加鎖。 
      Ø LockMode. UPGRADE_NOWAIT : Oracle 的特定實現,利用 Oracle 的 for
      update nowait 子句實現加鎖。 
      上面這兩種鎖機制是我們在應用層較爲常用的,加鎖一般通過以下方法實現: 
      Criteria.setLockMode
      Query.setLockMode
      Session.lock
      注意,只有在查詢開始之前(也就是 Hiberate 生成 SQL 之前)設定加鎖,纔會 
      真正通過數據庫的鎖機制進行加鎖處理,否則,數據已經通過不包含 for update
      子句的 Select SQL 加載進來,所謂數據庫加鎖也就無從談起。

      爲了更好的理解select... for update的鎖表的過程,本人將要以mysql爲例,進行相應的講解

      1、要測試鎖定的狀況,可以利用MySQL的Command Mode ,開二個視窗來做測試。

          表的基本結構如下:

          

 

           表中內容如下:

           

 

          開啓兩個測試窗口,在其中一個窗口執行select * from ta for update0

          然後在另外一個窗口執行update操作如下圖:

   

          等到一個窗口commit後的圖片如下:

          

           到這裏,悲觀鎖機制你應該瞭解一些了吧~

       

           需要注意的是for update要放到mysql的事務中,即begin和commit中,否者不起作用。

           至於是鎖住整個表還是鎖住選中的行,請參考:

           http://www.cnblogs.com/xiohao/p/4385768.html

            至於hibernate中的悲觀鎖使用起來比較簡單,這裏就不寫demo了~感興趣的自己查一下就ok了~

           

          樂觀鎖(Optimistic Locking):        
         相對悲觀鎖而言,樂觀鎖機制採取了更加寬鬆的加鎖機制。悲觀鎖大多數情況下依 靠數據庫的鎖機制實現,以保證操作最大程度的獨佔性。但隨之

而來的就是數據庫 性能的大量開銷,特別是對長事務而言,這樣的開銷往往無法承受。 如一個金融系統,當某個操作員讀取用戶的數據,並在讀出的用戶數

據的基礎上進 行修改時(如更改用戶帳戶餘額),如果採用悲觀鎖機制,也就意味着整個操作過 程中(從操作員讀出數據、開始修改直至提交修改結果的全

過程,甚至還包括操作 員中途去煮咖啡的時間),數據庫記錄始終處於加鎖狀態,可以想見,如果面對幾 百上千個併發,這樣的情況將導致怎樣的後果。 樂

觀鎖機制在一定程度上解決了這個問題。

         樂觀鎖,大多是基於數據版本   Version )記錄機制實現。何謂數據版本?即爲數據增加一個版本標識,在基於數據庫表的版本解決方案中,一般是通

過爲數據庫表增加一個 “version” 字段來 實現。 讀取出數據時,將此版本號一同讀出,之後更新時,對此版本號加一。此時,將提 交數據的版本數據與數據

庫表對應記錄的當前版本信息進行比對,如果提交的數據 版本號大於數據庫表當前版本號,則予以更新,否則認爲是過期數據。對於上面修改用戶帳戶信息

的例子而言,假設數據庫中帳戶信息表中有一個 version 字段,當前值爲 1 ;而當前帳戶餘額字段( balance )爲 $100 。操作員 A 此時將其讀出

( version=1 ),並從其帳戶餘額中扣除 $50( $100-$50 )。 2 在操作員 A 操作的過程中,操作員 B 也讀入此用戶信息( version=1 ),並 從其帳

戶餘額中扣除 $20 ( $100-$20 )。 3 操作員 A 完成了修改工作,將數據版本號加一( version=2 ),連同帳戶扣 除後餘額( balance=$50 ),提交

至數據庫更新,此時由於提交數據版本大 於數據庫記錄當前版本,數據被更新,數據庫記錄 version 更新爲 2 。 4 操作員 B 完成了操作,也將版本號加一

( version=2 )試圖向數據庫提交數 據( balance=$80 ),但此時比對數據庫記錄版本時發現,操作員 B 提交的 數據版本號爲 2 ,數據庫記錄當前版

本也爲 2 ,不滿足 “ 提交版本必須大於記 錄當前版本才能執行更新 “ 的樂觀鎖策略,因此,操作員 B 的提交被駁回。 這樣,就避免了操作員 B 用基於

version=1 的舊數據修改的結果覆蓋操作 員 A 的操作結果的可能。 從上面的例子可以看出,樂觀鎖機制避免了長事務中的數據庫加鎖開銷(操作員 A


和操作員 B 操作過程中,都沒有對數據庫數據加鎖),大大提升了大併發量下的系 統整體性能表現。 需要注意的是,樂觀鎖機制往往基於系統中的數據存儲

邏輯,因此也具備一定的局 限性,如在上例中,由於樂觀鎖機制是在我們的系統中實現,來自外部系統的用戶 餘額更新操作不受我們系統的控制,因此可能

會造成髒數據被更新到數據庫中。在 系統設計階段,我們應該充分考慮到這些情況出現的可能性,並進行相應調整(如 將樂觀鎖策略在數據庫存儲過程中實

現,對外只開放基於此存儲過程的數據更新途 徑,而不是將數據庫表直接對外公開)。 Hibernate 在其數據訪問引擎中內置了樂觀鎖實現。如果不用考慮外

部系統對數 據庫的更新操作,利用 Hibernate 提供的透明化樂觀鎖實現,將大大提升我們的 生產力。

User.hbm.xml

複製代碼

<?xml version="1.0"?>
<!DOCTYPE hibernate-mapping PUBLIC
        "-//Hibernate/Hibernate Mapping DTD 3.0//EN"
        "http://hibernate.sourceforge.net/hibernate-mapping-3.0.dtd">
 
<hibernate-mapping package="com.xiaohao.test">
 
    <class name="User"  table="user" optimistic-lock="version" >
              <id name="id">
            <generator class="native" />
        </id>
        <!--version標籤必須跟在id標籤後面-->
        <version column="version" name="version"  />
        <property name="userName"/>
        <property name="password"/>
                 
    </class>
     
 
</hibernate-mapping>

複製代碼

注意 version 節點必須出現在 ID 節點之後。 
這裏我們聲明瞭一個 version 屬性,用於存放用戶的版本信息,保存在 User 表的version中 
optimistic-lock 屬性有如下可選取值: 
Ø none
無樂觀鎖 
Ø version
通過版本機制實現樂觀鎖 
Ø dirty
通過檢查發生變動過的屬性實現樂觀鎖 
Ø all
通過檢查所有屬性實現樂觀鎖 
其中通過 version 實現的樂觀鎖機制是 Hibernate 官方推薦的樂觀鎖實現,同時也 
是 Hibernate 中,目前唯一在數據對象脫離 Session 發生修改的情況下依然有效的鎖機 
制。因此,一般情況下,我們都選擇 version 方式作爲 Hibernate 樂觀鎖實現機制。

2 . 配置文件hibernate.cfg.xml和UserTest測試類

   hibernate.cfg.xml

複製代碼

<!DOCTYPE hibernate-configuration PUBLIC
        "-//Hibernate/Hibernate Configuration DTD 3.0//EN"
        "http://hibernate.sourceforge.net/hibernate-configuration-3.0.dtd">
 
<hibernate-configuration>
<session-factory>
 
    <!-- 指定數據庫方言 如果使用jbpm的話,數據庫方言只能是InnoDB-->
    <property name="dialect">org.hibernate.dialect.MySQL5InnoDBDialect</property>
    <!-- 根據需要自動創建數據表 -->
    <property name="hbm2ddl.auto">update</property>
    <!-- 顯示Hibernate持久化操作所生成的SQL -->
    <property name="show_sql">true</property>
    <!-- 將SQL腳本進行格式化後再輸出 -->
    <property name="format_sql">false</property>
    <property name="current_session_context_class">thread</property>
 
 
    <!-- 導入映射配置 -->
    <property name="connection.url">jdbc:mysql:///user</property>
    <property name="connection.username">root</property>
    <property name="connection.password">123456</property>
    <property name="connection.driver_class">com.mysql.jdbc.Driver</property>
    <mapping resource="com/xiaohao/test/User.hbm.xml" />
 
 
 
</session-factory>
</hibernate-configuration>

複製代碼

UserTest.java

複製代碼

package com.xiaohao.test;
 
import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.hibernate.Transaction;
import org.hibernate.cfg.Configuration;
 
public class UserTest {
    public static void main(String[] args) {
        Configuration conf=new Configuration().configure();
        SessionFactory sf=conf.buildSessionFactory();
        Session session=sf.getCurrentSession();
        Transaction tx=session.beginTransaction();
//      User user=new User("小浩","英雄");
//      session.save(user);
//       session.createSQLQuery("insert into user(userName,password) value('張英雄16','123')")
//                  .executeUpdate();
        User user=(User) session.get(User.class, 1);
        user.setUserName("221");
//      session.save(user);
     
        System.out.println("恭喜您,用戶的數據插入成功了哦~~");
        tx.commit();
    }
 
}

複製代碼

每次對 TUser 進行更新的時候,我們可以發現,數據庫中的 version 都在遞增。

 

下面我們將要通過樂觀鎖來實現一下併發和同步的測試用例:

這裏需要使用兩個測試類,分別運行在不同的虛擬機上面,以此來模擬多個用戶同時操作一張表,同時其中一個測試類需要模擬長事務

UserTest.java

複製代碼

package com.xiaohao.test;
 
import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.hibernate.Transaction;
import org.hibernate.cfg.Configuration;
 
public class UserTest {
    public static void main(String[] args) {
        Configuration conf=new Configuration().configure();
        SessionFactory sf=conf.buildSessionFactory();
        Session session=sf.openSession();
//      Session session2=sf.openSession();
        User user=(User) session.createQuery(" from User user where user=5").uniqueResult();
//      User user2=(User) session.createQuery(" from User user where user=5").uniqueResult();
        System.out.println(user.getVersion());
//      System.out.println(user2.getVersion());
        Transaction tx=session.beginTransaction();
        user.setUserName("101");
        tx.commit();
         
        System.out.println(user.getVersion());
//      System.out.println(user2.getVersion());
//      System.out.println(user.getVersion()==user2.getVersion());
//      Transaction tx2=session2.beginTransaction();
//      user2.setUserName("4468");
//      tx2.commit();
     
    }
 
}

複製代碼

UserTest2.java

複製代碼

package com.xiaohao.test;
 
import org.hibernate.Session;
import org.hibernate.SessionFactory;
import org.hibernate.Transaction;
import org.hibernate.cfg.Configuration;
 
public class UserTest2 {
    public static void main(String[] args) throws InterruptedException {
        Configuration conf=new Configuration().configure();
        SessionFactory sf=conf.buildSessionFactory();
        Session session=sf.openSession();
//      Session session2=sf.openSession();
        User user=(User) session.createQuery(" from User user where user=5").uniqueResult();
        Thread.sleep(10000);
//      User user2=(User) session.createQuery(" from User user where user=5").uniqueResult();
        System.out.println(user.getVersion());
//      System.out.println(user2.getVersion());
        Transaction tx=session.beginTransaction();
        user.setUserName("100");
        tx.commit();
         
        System.out.println(user.getVersion());
//      System.out.println(user2.getVersion());
//      System.out.println(user.getVersion()==user2.getVersion());
//      Transaction tx2=session2.beginTransaction();
//      user2.setUserName("4468");
//      tx2.commit();
     
    }
 
}

複製代碼

操作流程及簡單講解: 首先啓動UserTest2.java測試類,在執行到Thread.sleep(10000);這條語句的時候,當前線程會進入睡眠狀態。在10秒鐘之內

                            啓動UserTest這個類,在到達10秒的時候,我們將會在UserTest.java中拋出下面的異常:

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

Exception in thread "main" org.hibernate.StaleObjectStateException: Row was updated or deleted by another transaction (or unsaved-value mapping was incorrect): [com.xiaohao.test.User#5]

    at org.hibernate.persister.entity.AbstractEntityPersister.check(AbstractEntityPersister.java:1932)

    at org.hibernate.persister.entity.AbstractEntityPersister.update(AbstractEntityPersister.java:2576)

    at org.hibernate.persister.entity.AbstractEntityPersister.updateOrInsert(AbstractEntityPersister.java:2476)

    at org.hibernate.persister.entity.AbstractEntityPersister.update(AbstractEntityPersister.java:2803)

    at org.hibernate.action.EntityUpdateAction.execute(EntityUpdateAction.java:113)

    at org.hibernate.engine.ActionQueue.execute(ActionQueue.java:273)

    at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:265)

    at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:185)

    at org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:321)

    at org.hibernate.event.def.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:51)

    at org.hibernate.impl.SessionImpl.flush(SessionImpl.java:1216)

    at org.hibernate.impl.SessionImpl.managedFlush(SessionImpl.java:383)

    at org.hibernate.transaction.JDBCTransaction.commit(JDBCTransaction.java:133)

    at com.xiaohao.test.UserTest2.main(UserTest2.java:21)

  

UserTest2代碼將在 tx.commit() 處拋出 StaleObjectStateException 異 常,並指出版本檢查失敗,當前事務正在試圖提交一個過期數據。通過捕捉這個異常,我 們就可以在樂觀鎖校驗失敗時進行相應處理

 

 3、常見併發同步案例分析

    案例一:訂票系統案例,某航班只有一張機票,假定有1w個人打開你的網站來訂票,問你如何解決併發問題(可擴展到任何高併發網站要考慮

               的併發讀寫問題)

    問題,1w個人來訪問,票沒出去前要保證大家都能看到有票,不可能一個人在看到票的時候別人就不能看了。到底誰能搶到,那得看這個人的“運氣”(網

             絡快慢等)

其次考慮的問題,併發,1w個人同時點擊購買,到底誰能成交?總共只有一張票。

首先我們容易想到和併發相關的幾個方案 :

鎖同步同步更多指的是應用程序的層面,多個線程進來,只能一個一個的訪問,java中指的是syncrinized關鍵字。鎖也有2個層面,一個是java中談到的對

象鎖,用於線程同步;另外一個層面是數據庫的鎖;如果是分佈式的系統,顯然只能利用數據庫端的鎖來實現。

假定我們採用了同步機制或者數據庫物理鎖機制,如何保證1w個人還能同時看到有票,顯然會犧牲性能,在高併發網站中是不可取的。使用hibernate後我們

提出了另外一個概念:樂觀鎖、悲觀鎖(即傳統的物理鎖);

採用樂觀鎖即可解決此問題。樂觀鎖意思是不鎖定表的情況下,利用業務的控制來解決併發問題,這樣即保證數據的併發可讀性又保證保存數據的排他性,保

證性能的同時解決了併發帶來的髒數據問題。

hibernate中如何實現樂觀鎖:

前提:在現有表當中增加一個冗餘字段,version版本號, long類型

原理:

1)只有當前版本號》=數據庫表版本號,才能提交

2)提交成功後,版本號version ++

實現很簡單:在ormapping增加一屬性optimistic-lock="version"即可,以下是樣例片段

<hibernate-mapping>

<class name="com.insigma.stock.ABC" optimistic-lock="version" table="T_Stock" schema="STOCK">

案例二、股票交易系統、銀行系統,大數據量你是如何考慮的

首先,股票交易系統的行情表,每幾秒鐘就有一個行情記錄產生,一天下來就有(假定行情3秒一個) 股票數量×20×60*6 條記錄,一月下來這個表記錄數

量多大? oracle中一張表的記錄數超過100w後 查詢性能就很差了,如何保證系統性能?

再比如,中國移動有上億的用戶量,表如何設計?把所有用於存在於一個表麼?

所以,大數量的系統,必須考慮表拆分-(表名字不一樣,但是結構完全一樣),通用的幾種方式:(視情況而定)

1)按業務分,比如 手機號的表,我們可以考慮 130開頭的作爲一個表,131開頭的另外一張表 以此類推

2)利用oracle的表拆分機制做分表

3)如果是交易系統,我們可以考慮按時間軸拆分,當日數據一個表,歷史數據弄到其它表。這裏歷史數據的報表和查詢不會影響當日交易。

當然,表拆分後我們的應用得做相應的適配。單純的or-mapping也許就得改動了。比如部分業務得通過存儲過程等

此外,我們還得考慮緩存

這裏的緩存,指的不僅僅是hibernate,hibernate本身提供了一級二級緩存。這裏的緩存獨立於應用,依然是內存的讀取,假如我們能減少數據庫頻繁的訪

問,那對系統肯定大大有利的。比如一個電子商務系統的商品搜索,如果某個關鍵字的商品經常被搜,那就可以考慮這部分商品列表存放到緩存(內存中

去),這樣不用每次訪問數據庫,性能大大增加。

簡單的緩存大家可以理解爲自己做一個hashmap,把常訪問的數據做一個key,value是第一次從數據庫搜索出來的值,下次訪問就可以從map裏讀取,而不

讀數據庫;專業些的目前有獨立的緩存框架比如memcached 等,可獨立部署成一個緩存服務器。

 案例三、搶購秒殺解決方案

之前我將高併發的解決方法誤認爲是線程或者是隊列可以解決,因爲高併發的時候是有很多用戶在訪問,導致出現系統數據不正確、丟失數據現象,所以想到 的是用隊列解決,

其實隊列解決的方式也可以處理,比如我們在競拍商品、轉發評論微博或者是秒殺商品等,同一時間訪問量特別大,隊列在此起到特別的作用,將 所有請求放入隊列,

以毫秒計時單位,有序的進行,從而不會出現數據丟失系統數據不正確的情況。

 

4、常見的提高高併發下訪問的效率的手段

      首先要了解高併發的的瓶頸在哪裏?

     1、可能是服務器網絡帶寬不夠

     2.可能web線程連接數不夠

     3.可能數據庫連接查詢上不去。

     根據不同的情況,解決思路也不同。

  1. 像第一種情況可以增加網絡帶寬,DNS域名解析分發多臺服務器。

  2. 負載均衡,前置代理服務器nginx、apache等等

  3. 數據庫查詢優化,讀寫分離,分表等等

   最後複製一些在高併發下面需要常常需要處理的內容:

  • 儘量使用緩存,包括用戶緩存,信息緩存等,多花點內存來做緩存,可以大量減少與數據庫的交互,提高性能。

  • 用jprofiler等工具找出性能瓶頸,減少額外的開銷。

  • 優化數據庫查詢語句,減少直接使用hibernate等工具的直接生成語句(僅耗時較長的查詢做優化)。

  • 優化數據庫結構,多做索引,提高查詢效率。

  • 統計的功能儘量做緩存,或按每天一統計或定時統計相關報表,避免需要時進行統計的功能。

  • 能使用靜態頁面的地方儘量使用,減少容器的解析(儘量將動態內容生成靜態html來顯示)。

  • 解決以上問題後,使用服務器集羣來解決單臺的瓶頸問題。

今天我經過查資料,高併發的解決方法有倆種:

一種是使用緩存、另一種是使用生成靜態頁面;還有就是從最基礎的地方優化我們寫代碼減少不必要的資源浪費:(

1.不要頻繁的new對象,對於在整個應用中只需要存在一個實例的類使用單例模式.對於String的連接操作,使用StringBuffer或者StringBuilder.對於utility類型的類通過靜態方法來訪問。

2. 避免使用錯誤的方式,如Exception可以控制方法推出,但是Exception要保留stacktrace消耗性能,除非必要不要使用 instanceof做條件判斷,儘量使用比的條件判斷方式.使用JAVA中效率高的類,比如ArrayList比Vector性能好。)

 

首先緩存技術我一直沒有使用過,我覺得應該是在用戶請求時將數據保存在緩存中,下次請求時會檢測緩存中是否有數據存在,防止多次請求服務器,導致服務器性能降低,嚴重導致服務器崩潰,這只是我自己的理解,詳細的資料還是需要在網上收集;

 

使用生成靜態頁面我想大家應該不模式,我們見過很多網站當在請求的時候頁面的後最已經變了,如“http://developer.51cto.com/art/201207/348766.htm”該頁面其實是一個服務器請求地址,在轉換成htm後,訪問速度將提升,因爲靜態頁面不帶有服務器組件;在這裏我就多多介紹一下:

一、什麼是頁面靜態化:

簡 單的說,我們如果訪問一個鏈接 ,服務器對應的模塊會處理這個請求,轉到對應的jsp界面,最後生成我們想要看到的數據。這其中的缺點是顯而易見的:因爲每次請求服務器都會進行處理,如 果有太多的高併發請求,那麼就會加重應用服務器的壓力,弄不好就把服務器 搞down 掉了。那麼如何去避免呢?如果我們把對 test.do 請求後的結果保存成一個 html 文件,然後每次用戶都去訪問 ,這樣應用服務器的壓力不就減少了?

那麼靜態頁面從哪裏來呢?總不能讓我們每個頁面都手動處理吧?這裏就牽涉到我們要講解的內容了,靜態頁面生成方案… 我們需要的是自動的生成靜態頁面,當用戶訪問 ,會自動生成 test.html ,然後顯示給用戶。

二、下面我們在簡單介紹一下要想掌握頁面靜態化方案應該掌握的知識點:

1、 基礎- URL Rewrite

什麼是 URL Rewrite 呢 ? URL 重寫。用一個簡單的例子來說明問題:輸入網址 ,但是實際上訪問的卻是 abc.com/test.action,那我們就可以說 URL 被重寫了。這項技術應用廣泛,有許多開源的工具可以實現這個功能。

2、 基礎- Servlet web.xml

如果你還不知道 web.xml 中一個請求和一個 servlet 是如何匹配到一起的,那麼請搜索一下 servlet 的文檔。這可不是亂說呀,有很多人就認爲 /xyz/*.do 這樣的匹配方式能有效。

如果你還不知道怎麼編寫一個 servlet ,那麼請搜索一下如何編寫 servlet.這可不是說笑呀,在各種集成工具漫天飛舞的今天,很多人都不會去從零編寫一個 servlet了。

三、基本的方案介紹

java高併發,如何解決,什麼方式解決 - 我學坊 - 勵志-我學坊

其中,對於 URL Rewriter的部分,可以使用收費或者開源的工具來實現,如果 url不是特別的複雜,可以考慮在 servlet 中實現,那麼就是下面這個樣子:

 

java高併發,如何解決,什麼方式解決 - 我學坊 - 勵志-我學坊

 

總 結:其實我們在開發中都很少考慮這種問題,直接都是先將功能實現,當一個程序員在幹到1到2年,就會感覺光實現功能不是最主要的,安全性能、質量等等纔是 一個開發人員最該關心的。今天我所說的是高併發。

我的解決思路是:

1、採用分佈式應用設計

2、分佈式緩存數據庫

3、代碼優化

 

Java高併發的例子:

 

具體情況是這樣: 通過java和數據庫,自己實現序列自動增長。
實現代碼大致如下:
 id_table表結構, 主要字段:

1

2

3

id_name  varchar2(16);

id_val  number(16,0);

id_prefix  varchar2(4);

  

複製代碼

//操作DB 
   public synchronized String nextStringValue(String id){
        SqlSession sqlSess = SqlSessionUtil.getSqlSession();
        sqlSess.update("update id_table set id_val = id_val + 1 where id_name="+id);
        Map map = sqlSess.getOne("select id_name, id_prefix, id_val from id_table where id_name="+ id);
        BigDecimal val = (BigDecimal) map.get("id_val");
      //id_val是具體數字,rePack主要是統一返回固定長度的字符串;如:Y0000001, F0000001, T0000001等
        String idValue = rePack(val, map); 
        return idValue;
  }
   
  //公共方法
public class IdHelpTool{
     public static String getNextStringValue(String idName){
          return getXX().nextStringValue(idName);
    }
}

複製代碼

具體使用者,都是通過類似這種方式:IdHelpTool.getNextStringValue("PAY_LOG");來調用。

問題:
      (1) 當出現併發時, 有時會獲取重複的ID;
      (2) 由於服務器做了相關一些設置,有時調用這個方法,好像還會導致超時。

         爲了解決問題(1), 考慮過在方法getNextStringValue上,也加上synchronized , 同步關鍵字過多,會不會更導致超時?
跪求大俠提供個解決問題的大概思路!!!

 

解決思路一:

1、推薦 https://github.com/adyliu/idcenter
2、可以通過第三方redis來實現。

 

解決思路一:

1、出現重複ID,是因爲髒讀了,併發的時候不加 synchronized  比如會出現問題

2、但是加了 synchronized  ,性能急劇下降了,本身 java 就是多線程的,你把它單線程使用,不是明智的選擇,同時,如果分佈式部署的時候,加了 synchronized  也無法控制併發

3、調用這個方法,出現超時的情況,說明你的併發已經超過了數據庫所能處理的極限,數據庫無限等待導致超時

基於上面的分析,建議採用線程池的方案,支付寶的單號就是用的線程池的方案進行的。

數據庫 update 不是一次加1,而是一次加幾百甚至上千,然後取到的這 1000個序號,放在線程池裏慢慢分配即可,能應付任意大的併發,同時保證數據庫沒任何壓力。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章