版本不兼容Jar包衝突該如何是好?

一、引言

“老婆”和“媽媽”同時掉進水裏,先救誰?

常言道:編碼五分鐘,解衝突兩小時。作爲Java開發來說,第一眼見到ClassNotFoundException、NoSuchMethodException這些異常來說,第一反應就是排包。經過一通常規和非常規操作以後,往往會找到同一個Jar包引入了多個不同的版本,這時候一般排除掉低版本、保留高版本就可以了,這是因爲一般Jar包都是向下兼容的。但是,如果出現版本不兼容的情況的時候,就會陷入“老婆和媽同時掉進水裏,先救誰”的兩難境地,如果恰恰這種不兼容發生在中間件依賴和業務自身依賴之間,那就更難了。

如下圖所示,Project表示我們的項目,Dependency A表示我們的業務依賴,Dependency B表示中間件依賴,如果業務依賴和中間件依賴都依賴同一個Jar包C,但是版本卻不一樣,分別爲0.1版本和0.2版本,而且最不巧的是這兩個版本還存在衝突,有些老的功能只在0.1低版本中存在,有些新功能只在0.2高版本中存在,真是“老婆和媽同時掉進水裏,先救誰都不行”。

(圖片摘自:SOFAArk官網)

俗話說:沒有遇到過Jar包衝突的開發,一定是個假Java開發;沒有解決過Jar包衝突的開發,不是一個合格的Java開發。在最近的項目裏,我們需要使用Guava的高版本Jar包,但是發現中間件依賴的是低版本且與高版本不兼容的Jar包,面對這種兩難,我們肯定是“老婆”和“媽媽”都要救,於是我們開始尋求解決方案。

二、不兼容依賴衝突解決方案

“老婆”和“媽媽”都要救,怎麼救?

首先,我們想到的是,能不能把需要用到的Guava高版本的代碼拷出來直接放到我們的工程中去,但是這樣做會帶來幾個問題:

  • Guava作爲一個功能豐富的基礎庫,某一部分的代碼往往與其他很多代碼都存在依賴關係,這會造成牽一髮而動全身,工作量會比預想的要大很多;

  • 拷貝出來的代碼只能自己手動維護,如果官方修復了問題或者重構了代碼或者增加了功能,我們想要升級的話,那麼只能重頭再來一遍。於是,我們只能另外想其他的方案,這個只能作爲最後的兜底方案。

然後,我們在想,一個Java類被加載到JVM虛擬機裏區別於另一個Class,其一是它們倆全路徑不一樣,是風馬牛不相及的兩個不同的類,但卻是被不同的類加載器加載的,在JVM虛擬機裏它們仍然被認爲是兩個不同的Class。所以,我們就在想從類加載器上來尋求解決方案。在阿里巴巴內部,有一個Pandora的組件,正如其名就像一個魔盒,它會把中間件的依賴都裝到Pandora裏(內部叫做Sar包),這樣的話,就能避免在中間件和業務代碼直接出現“老婆和媽同時掉進水裏,先救誰”的兩難境地。

同樣,在類似的場景比如應用合併部署也能發揮威力。但是Pandora只在阿里內部使用並未開源。在螞蟻金服,也有一個這樣的組件,並且開源了,叫做SOFAArk(官方網址,感興趣的可以去官網瞭解SOFAArk的原理和使用),我們感覺已經找到了那個Mr.Right,於是我們開始研究SOFAArk如何使用。和Pandora一樣,SOFAArk也是通過使用不同的 ClassLoader 加載不同版本的三方依賴,進而隔離類,徹底解決包衝突的問題,這就要求我們需要將相關的依賴打包成Ark Plugin(參見SOFAArk官方文檔)。

對於公司來說,這樣的方案收益是比較大的,打包成Ark Plugin後整個公司都能夠共享,業務方都能受益,但是對於我們一個項目來說,採用這樣的方案無疑過重了。於是,我們與中間件同學聯繫,詢問是否有計劃引入類似的隔離組件解決中間件和業務代碼之間的依賴衝突問題,得到的答覆是公司目前包衝突並不是一個強烈的痛點,暫時沒有計劃引入。於是,我們只能暫且擱置SOFAArk,繼續尋找新的解決方案。

接着,我們在想既然Pandora/SOFAArk採用類加載隔離了同一路徑的類,那麼如果我們把衝突的兩個版本庫的groupId變得不一樣,那麼即使同名的類全路徑也是不一樣的,這樣在JVM裏面必然是不同的Class。如果把Pandora/SOFAArk的隔離方式稱之爲邏輯隔離的話,這種就相當於物理隔離了。要實現這一點,藉助IDE的重構功能或者全局替換的功能就能比較容易的實現這一點。

正在我們準備擼起袖子動手乾的時候,我們不禁在想,這樣的痛點應該早就有人遇到,尤其像Guava、Commons這類的基礎類庫,衝突在所難免,前人應該已經找到了優雅的撓癢姿勢。於是,我們就去搜索相關的文章,果不其然,maven-shade-plugin正是那優雅的撓癢姿勢,這個Maven插件的原理正是將類的包路徑進行重新映射,達到隔離不兼容Jar包的目的。

三、maven-shade-plugin解決依賴衝突

最後如何來配置和使用maven-shade-plugin將Guava映射成我們自己定製的Jar包,實現與中間件Guava的隔離。整個的過程還是比較清晰明瞭的,主要是創建一個Maven工程,引入依賴,配置我們要發佈的倉庫地址,引入編譯打包插件和maven-shade-plugin插件,配置映射規則(標籤之間部分),然後編譯打包發佈到Maven倉庫。pom.xml的配置如下:

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.shaded.example</groupId>
    <artifactId>guava-wrapper</artifactId>
    <version>${guava.wrapper.version}</version>

    <name>guava-wrapper</name>
    <url>https://example.com/guava-wrapper</url>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
            <!- 版本與 guava 版本基本保持一致 ->
        <guava.wrapper.version>27.1-jre</guava.wrapper.version>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>

    <dependencies>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>27.1-jre</version>
        </dependency>  
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.3</version>
                <configuration>
                    <source>${maven.compiler.source}</source>
                    <target>${maven.compiler.target}</target>
                </configuration>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-jar-plugin</artifactId>
                <version>2.3.2</version>
                <executions>
                    <execution>
                        <id>default-jar</id>
                        <goals>
                            <goal>jar</goal>
                        </goals>
                        <phase>package</phase>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-source-plugin</artifactId>
                <version>2.4</version>
                <executions>
                    <execution>
                        <id>default-sources</id>
                        <goals>
                            <goal>jar-no-fork</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.1</version>
                <configuration>
                    <createDependencyReducedPom>false</createDependencyReducedPom>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                                          <!-- 重命名規則配置 -->
                            <relocations>
                                <relocation>
                                                      <!-- 源包路徑 -->
                                    <pattern>com.google.guava</pattern>
                                                      <!-- 目標包路徑 -->
                                    <shadedPattern>com.google.guava.wrapper</shadedPattern>
                                </relocation>
                                <relocation>
                                    <pattern>com.google.common</pattern>
                                    <shadedPattern>com.google.common.wrapper</shadedPattern>
                                </relocation>
                                <relocation>
                                    <pattern>com.google.thirdparty</pattern>
                                    <shadedPattern>com.google.wrapper.thirdparty</shadedPattern>
                                </relocation>
                            </relocations>
                            <transformers>
                                <transformer
                                        implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"/>
                            </transformers>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

    <distributionManagement>
          <!- Maven倉庫配置,略 ->
    </distributionManagement>
</project>

項目引入這個新打包的guava-wrapper後,import選擇從這個包導入我們需要的相關類即可。如下:

<dependency>
  <groupId>com.vivo.internet</groupId>
  <artifactId>guava-wrapper</artifactId>
  <version>27.1-jre</version>
</dependency>

四、結語

爲了在同一個項目中使用多個版本不兼容的Jar包,我們首先想到手動自行維護代碼,但是工作量和維護成本很高,接着我們想到通過類加載器隔離(開源方案SOFAArk),但是需要將相關依賴都打包成Ark Plugin,解決方案無疑有點過重了,最後通過maven-shade-plugin插件重命名並打包,優雅地解決了項目中不兼容多個版本Jar包的衝突問題。從問題出來,我們一步一步探尋問題的解決方案,最終的maven-shade-plugin插件方案雖然看似與手動自行維護代碼本質一致,看似回到了原點,但其實最終的方案優雅性遠比最開始高得多,正如人生的道路那樣,螺旋式上升,曲線式前進。

如果遇到類似需要支持版本不兼容Jar包共存的場景,可以考慮使用maven-shade-plugin插件,這種方法比較輕量級,可用於項目中存在個別不兼容Jar包衝突的場景,簡單有效,成本也很低。但是,如果Jar包衝突現象比較普遍,已成爲明顯或者普遍的痛點,還是建議考慮文中提到的類似Pandora、SOFAArk等類加載器隔離的方案。

作者:vivo互聯網服務器團隊-Zhang Wei

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章