Xmake 和 C/C++ 包管理

Xmake 是一個基於 Lua 的輕量級跨平臺構建工具，關於 Xmake 與構建系統的介紹，我們已經在之前的文章中做了詳細的介紹：C/C++ 構建系統，我用 xmake。

如果大家已經對 Xmake 已經有了大概的瞭解，就會知道，它不僅僅是一個構建工具，還內置了對 C/C++ 包管理的支持，我們也可以把 Xmake 理解爲：

Xmake = Build backend + Project Generator + Package Manager

經過幾年的持續迭代，Xmake 對 C/C++ 包管理的支持不斷完善，也新增了不少實用的包管理特性，因此，在本文中，我們對其做一些總結，希望對大家有所幫助。

• 項目源碼
• 官方文檔
• 入門課程

構建系統與包管理

C++ 的生態比較繁雜，這其中也有一定歷史原因，不管如何，官方沒有提供原生的包管理支持，對我們開發者來說，使用第三方 C++ 依賴庫多少存在很多不便。

其實，現在已經有很多強大的 C/C++ 包管理器，最知名，用的最多的有：vcpkg, conan, conda 等等，它們雖然很強大，但是有一個共同的問題：構建工具對它們沒有提供原生的支持。

由於 CMake 對它們沒有提供內置支持，想在 CMake 中使用它們集成依賴包非常繁瑣，並且集成和使用的方式都不一致。

在 CMake 中使用 Conan

在 CMake 中使用 conan 集成 C/C++ 包，我們需要提供額外的 CMake Wrapper 腳本，以類似插件的方式注入進自己的工程中去。

cmake_minimum_required(VERSION 3.5)
project(FormatOutput CXX)

list(APPEND CMAKE_MODULE_PATH ${CMAKE_BINARY_DIR})
list(APPEND CMAKE_PREFIX_PATH ${CMAKE_BINARY_DIR})

add_definitions("-std=c++11")

if(NOT EXISTS "${CMAKE_BINARY_DIR}/conan.cmake")
  message(STATUS "Downloading conan.cmake from https://github.com/conan-io/cmake-conan")
  file(DOWNLOAD "https://raw.githubusercontent.com/conan-io/cmake-conan/v0.16.1/conan.cmake"
                "${CMAKE_BINARY_DIR}/conan.cmake"
                EXPECTED_HASH SHA256=396e16d0f5eabdc6a14afddbcfff62a54a7ee75c6da23f32f7a31bc85db23484
                TLS_VERIFY ON)
endif()

include(${CMAKE_BINARY_DIR}/conan.cmake)

conan_cmake_configure(REQUIRES fmt/6.1.2
                      GENERATORS cmake_find_package)

conan_cmake_autodetect(settings)

conan_cmake_install(PATH_OR_REFERENCE .
                    BUILD missing
                    REMOTE conancenter
                    SETTINGS ${settings})

find_package(fmt)

add_executable(main main.cpp)
target_link_libraries(main fmt::fmt)

爲了集成一個包，需要額外配置很多的腳本。

在 CMake 中使用 Vcpkg

在 CMake 中使用 vcpkg 集成包，我們也需要額外注入一個工具鏈腳本文件。

cmake -B [build directory] -S . -DCMAKE_TOOLCHAIN_FILE=[path to vcpkg]/scripts/buildsystems/vcpkg.cmake
cmake --build [build directory]

另外，還有一個問題，就是我們還需要額外自己調用 vcpkg install [packages] 命令，去安裝包。

這其中每一個環節，對於用戶來講都需要額外的探索過程，沒法做到真正的一鍵編譯。

想象下，用戶下載了一個集成了 vcpkg 包的 cmake 項目，想要編譯通過，除了項目配置，還需要做哪些額外的事情：

1. 安裝 vcpkg
2. 執行 vcpkg install xxx 安裝裏面需要的包
3. 執行 cmake 傳遞 vcpkg.cmake 腳本給 cmake，進行工程配置

在 CMake 中使用 FetchContent

提供了 FetchContent 模式來管理依賴，但似乎是源碼拉取，而且必須依賴也是基於 CMake 維護構建的，另外，我們需要對每個依賴項，配置 url, 版本等各種包信息。

cmake_minimum_required(VERSION 3.14)
project(fetchContent_example CXX)

include(FetchContent)

FetchContent_Declare(
        DocTest
        GIT_REPOSITORY "https://github.com/onqtam/doctest"
        GIT_TAG "932a2ca50666138256dae56fbb16db3b1cae133a"
)
FetchContent_Declare(
        Range-v3
        GIT_REPOSITORY "https://github.com/ericniebler/range-v3"
        GIT_TAG "4d6a463bca51bc316f9b565edd94e82388206093"
)

FetchContent_MakeAvailable(DocTest Range-v3)

add_executable(${PROJECT_NAME} src/main.cpp)
target_link_libraries(${PROJECT_NAME} doctest range-v3)

在 Meson 中使用依賴包

Meson 很強大，並且也提供了自帶的包管理支持，但是想要在 Meson 中使用其他包管理器，例如 vcpkg/conan 等等同樣很繁瑣，並沒有提供原生支持。

在 Xmake 中使用依賴包

Xmake 不僅提供了內置的 xmake-repo 內置的包管理倉庫，可以直接集成使用裏面的包，還支持以相同的集成方式，去快速集成 vcpkg/conan 等第三方的依賴包。

集成一個內置依賴包只需要幾行配置：

add_requires("zlib 1.2.11")
target("test")
    add_files("src/*.c")
    add_packages("zlib")

集成一個 vcpkg 包，僅僅只需要加上對應的包管理器命名空間，集成方式完全相同：

add_requires("vcpkg::zlib 1.2.11")
target("test")
    add_files("src/*.c")
    add_packages("vcpkg::zlib")

集成一個 conan 包，或者 conda, homebrew, pacman, apt, clib 等第三方包，也只需要改成 conan::zlib 就行了，用戶可以隨意切換包源。

另外，Xmake 會自動幫你調用 vcpkg/conan install 安裝命令去安裝依賴包，然後集成它們，不需要用戶做任何其他事情，僅僅只需要執行 xmake 一鍵編譯。

C/C++ 包太少？

覺得 Xmake 內置的包倉庫裏面的包太少麼？完全沒關係，理論上，你可以通過 Xmake 使用整個 C/C++ 生態 90% 的常用依賴包，就是因爲 Xmake 可以快速從各種其他包管理器中集成包來使用。

目前 Xmake 支持的包源有以下這些：

• Official package repository xmake-repo (tbox >1.6.1)
• Official package manager Xrepo
• User-built repositories
• Conan (conan::openssl/1.1.1g)
• Conda (conda::libpng 1.3.67)
• Vcpkg (vcpkg:ffmpeg)
• Homebrew/Linuxbrew (brew::pcre2/libpcre2-8)
• Pacman on archlinux/msys2 (pacman::libcurl)
• Apt on ubuntu/debian (apt::zlib1g-dev)
• Clib (clib::clibs/[email protected])
• Dub (dub::log 0.4.3)
• Portage on Gentoo/Linux (portage::libhandy)
• Nimble for nimlang (nimble::zip >1.3)
• Cargo for rust (cargo::base64 0.13.0)

基本上，這些倉庫基本已經覆蓋了 C/C++ 用戶日常所需的所有包。

作者從寫這篇文章開始，統計了下 vcpkg/conan/xmake-repo 倉庫的包數量：

• vcpkg: 1859
• conan: 1218
• xmake-repo: 651

可以看到，目前 Xmake 內置倉庫的包數量，已經快要接近 vcpkg/conan 了，也不少了，我們也在不斷的收錄新的包進來。

但是這完全沒有關係，因爲我們可以使用任意包倉庫中的包。

如果在 CMake 中使用 vcpkg，我們只能使用 1859 個包。
如果在 CMake 中使用 conan，我們只能使用 1218 個包。

而如果在 Xmake 中使用包，我們可以使用 651 (xmake-repo) + vcpkg/conan (1k+) + more (conda, homebrew, pacman, apt, clib ...) 中的包。

甚至，C/C++ 包不夠，其他語言的包也可以拿過來用，例如：Xmake 也支持從 dub/cargo 等 Dlang/Rust 的包管理器中拉取包，給 C/C++ 項目使用。

Xmake 內置包管理集成

除了接入第三方包管理，我們也更推薦優先使用集成 xmake-repo 內置倉庫中提供的包，Xmake 會提供更多特性支持。

因此，如果用戶需要的包還沒被收錄，可以先嚐試提交到 xmake-repo 進來。

接下來，我們系統介紹下，集成內置包的一些特性。

語義版本設置

Xmake 的依賴包管理是完全支持語義版本選擇的，例如："~1.6.1"，對於語義版本的具體描述見：https://semver.org/

比如下面一些語義版本寫法：

add_requires("tbox 1.6.*", "pcre 1.3.x", "libpng ^1.18")
add_requires("libpng ~1.16", "zlib 1.1.2 || >=1.2.11 <1.3.0")

當然，如果我們對當前的依賴包的版本沒有特殊要求，那麼可以直接這麼寫：

add_requires("tbox", "libpng", "zlib")

這會使用已知的最新版本包，或者是master分支的源碼編譯的包，如果當前包有git repo地址，我們也能指定特定分支版本：

add_requires("tbox master")
add_requires("tbox dev")

Xmake 的語義版本支持，在幾年前就已經很好的支持，而 vcpkg 也僅僅在最近一年才通過清單模式勉強支持它。

即使現在，vcpkg 對版本語義的支持也很受限，只能支持 >=1.0, 1.0 等幾種版本模式，想要選擇任意版本的包，比如 >=1.0 <1.5 等複雜版本條件的包，vcpkg 還是無法支持。

可選包設置

如果指定的依賴包當前平臺不支持，或者編譯安裝失敗了，那麼 Xmake 會編譯報錯，這對於有些必須要依賴某些包才能工作的項目，這是合理的。
但是如果有些包是可選的依賴，即使沒有也可以正常編譯使用的話，可以設置爲可選包：

add_requires("tbox", {optional = true})

使用系統庫

默認的設置，Xmake 會去優先檢測系統庫是否存在（如果沒設置版本要求），如果用戶完全不想使用系統庫以及第三方包管理提供的庫，那麼可以設置：

add_requires("tbox", {system = false})

而如果配置成：

add_requires("tbox", {system = true})

就是僅僅查找使用系統庫，不會去遠程下載安裝它，這類似於 CMake 的 find_package，但是集成方式更加簡單一致。

使用調試版本的包

如果我們想同時源碼調試依賴包，那麼可以設置爲使用debug版本的包（當然前提是這個包支持debug編譯）：

add_requires("tbox", {debug = true})

啓用包的可選特性

我們也可以安裝帶有指定特性的包，比如安裝開啓了 zlib 和 libx265 的 ffmpeg 包。

add_requires("ffmpeg", {configs = {zlib = true, libx265 = true}})

傳遞額外的編譯選項

我們也可以傳遞額外的編譯選項給包：

add_requires("spdlog", {configs = {cxflags = "-Dxxx"}})

獨立的包管理命令 Xrepo

Xrepo 是一個基於 Xmake 的跨平臺 C/C++ 包管理器。

它是一個獨立於 Xmake 的命令程序，用於輔助用戶去管理依賴包，類似 vcpkg/conan，但相比它們，有額外多了一些實用的特性，我們會簡單介紹一些。

多倉庫管理

除了可以直接從官方倉庫：xmake-repo 檢索安裝包之外，
我們還可以添加任意多個自建的倉庫，甚至可以完全隔離外網，僅僅在公司內部網絡維護私有包的安裝集成。

只需要通過下面的命令，添加上自己的倉庫地址：

$ xrepo add-repo myrepo https://github.com/mygroup/myrepo

基本使用

$ xrepo install zlib tbox

安裝指定版本包

完整支持 Semantic Versioning (語義版本)。

$ xrepo install "zlib 1.2.x"
$ xrepo install "zlib >=1.2.0"

安裝指定平臺包

$ xrepo install -p iphoneos -a arm64 zlib
$ xrepo install -p android [--ndk=/xxx] zlib
$ xrepo install -p mingw [--mingw=/xxx] zlib
$ xrepo install -p cross --sdk=/xxx/arm-linux-musleabi-cross zlib

安裝調試版本包

$ xrepo install -m debug zlib

安裝動態庫版本包

$ xrepo install -k shared zlib

安裝指定配置包

$ xrepo install -f "vs_runtime=MD" zlib
$ xrepo install -f "regex=true,thread=true" boost

安裝第三方包管理器的包

$ xrepo install brew::zlib
$ xrepo install vcpkg::zlib
$ xrepo install conan::zlib/1.2.11

查看包的庫使用信息

$ xrepo fetch pcre2
{
  {
    linkdirs = {
      "/usr/local/Cellar/pcre2/10.33/lib"
    },
    links = {
      "pcre2-8"
    },
    defines = {
      "PCRE2_CODE_UNIT_WIDTH=8"
    },
    includedirs = "/usr/local/Cellar/pcre2/10.33/include"
  }
}

$ xrepo fetch --ldflags openssl
-L/Users/ruki/.xmake/packages/o/openssl/1.1.1/d639b7d6e3244216b403b39df5101abf/lib -lcrypto -lssl

$ xrepo fetch --cflags openssl
-I/Users/ruki/.xmake/packages/o/openssl/1.1.1/d639b7d6e3244216b403b39df5101abf/include

$ xrepo fetch -p [iphoneos|android] --cflags "zlib 1.2.x"
-I/Users/ruki/.xmake/packages/z/zlib/1.2.11/df72d410e7e14391b1a4375d868a240c/include

$ xrepo fetch --cflags --ldflags conan::zlib/1.2.11
-I/Users/ruki/.conan/data/zlib/1.2.11/_/_/package/f74366f76f700cc6e991285892ad7a23c30e6d47/include -L/Users/ruki/.conan/data/zlib/1.2.11/_/_/package/f74366f76f700cc6e991285892ad7a23c30e6d47/lib -lz

導入導出安裝後的包

xrepo 可以快速導出已經安裝後的包，包括對應的庫文件，頭文件等等。

$ xrepo export -o /tmp/output zlib

也可以在其他機器上導入之前導出的安裝包，實現包的遷移。

$ xrepo import -i /xxx/packagedir zlib

搜索支持的包

$ xrepo search zlib "pcr*"
    zlib:
      -> zlib: A Massively Spiffy Yet Delicately Unobtrusive Compression Library (in xmake-repo)
    pcr*:
      -> pcre2: A Perl Compatible Regular Expressions Library (in xmake-repo)
      -> pcre: A Perl Compatible Regular Expressions Library (in xmake-repo)

另外，現在還可以從 vcpkg, conan, conda 以及 apt 等第三方包管理器中搜索它們的包，只需要加上對應的包命名空間就行，例如：

$ xrepo search vcpkg::pcre
The package names:
    vcpkg::pcre:
      -> vcpkg::pcre-8.44#8: Perl Compatible Regular Expressions
      -> vcpkg::pcre2-10.35#2: PCRE2 is a re-working of the original Perl Compatible Regular Expressions library

$ xrepo search conan::openssl
The package names:
    conan::openssl:
      -> conan::openssl/1.1.1g:
      -> conan::openssl/1.1.1h:

包虛擬環境管理

我們可以通過在當前目錄下，添加 xmake.lua 文件，定製化一些包配置，然後進入特定的包 shell 環境。

add_requires("zlib 1.2.11")
add_requires("python 3.x", "luajit")

$ xrepo env shell
> python --version
> luajit --version

在 Xmake 中集成第三方構建系統

在 Xmake 中集成 Cmake 項目

Xmake 並不打算分裂 C/C++ 生態，它能很好和兼容複用現有 cmake/autoconf/meson 維護的項目，比如可以將一些其他使用 CMake 維護的代碼庫，直接本地集成進來，參與混合編譯。

也就是說，Xmake 不會強制用戶將所有的項目重新 port 到 xmake.lua，現有的 CMake 項目，一樣可以快速集成到 Xmake 項目中去。

例如，我們有如下項目結構：

├── foo
│   ├── CMakeLists.txt
│   └── src
│       ├── foo.c
│       └── foo.h
├── src
│   └── main.c
├── test.lua
└── xmake.lua

foo 目錄下是一個使用 CMake 維護的靜態庫，而根目錄下使用了 Xmake 來維護，我們可以在 xmake.lua 中通過定義 package("foo") 包來描述如何構建 foo 代碼庫。

add_rules("mode.debug", "mode.release")

package("foo")
    add_deps("cmake")
    set_sourcedir(path.join(os.scriptdir(), "foo"))
    on_install(function (package)
        local configs = {}
        table.insert(configs, "-DCMAKE_BUILD_TYPE=" .. (package:debug() and "Debug" or "Release"))
        table.insert(configs, "-DBUILD_SHARED_LIBS=" .. (package:config("shared") and "ON" or "OFF"))
        import("package.tools.cmake").install(package, configs)
    end)
    on_test(function (package)
        assert(package:has_cfuncs("add", {includes = "foo.h"}))
    end)
package_end()

add_requires("foo")

target("demo")
    set_kind("binary")
    add_files("src/main.c")
    add_packages("foo")

其中，我們通過 set_sourcedir() 來設置 foo 包的代碼目錄位置，然後通過 import 導入 package.tools.cmake 輔助模塊來調用 cmake 構建代碼，xmake 會自動獲取生成的 libfoo.a 和對應的頭文件。

!> 如果僅僅本地源碼集成，我們不需要額外設置 add_urls 和 add_versions。

關於包的配置描述，詳情見：包描述說明

定義完包後，我們就可以通過 add_requires("foo") 和 add_packages("foo") 來集成使用它了，就跟集成遠程包一樣的使用方式。

另外，on_test 是可選的，如果想要嚴格檢測包的編譯安裝是否成功，可以在裏面做一些測試。

完整例子見：Library with CMakeLists

在 Xmake 中集成 Meson 項目

Xmake 支持集成更多其他構建系統維護的第三方源碼庫，比如 Meson，僅僅只需要導入使用 package.tools.meson 輔助構建模塊調用 meson 來構建它們。

例如，我們從 xmake-repo 倉庫中挑選一個使用 meson 構建的包作爲例子：

package("harfbuzz")
    set_sourcedir(path.join(os.scriptdir(), "3rd/harfbuzz"))
    add_deps("meson")
    on_install(function (package)
        local configs = {"-Dtests=disabled", "-Ddocs=disabled", "-Dbenchmark=disabled", "-Dcairo=disabled", "-Dfontconfig=disabled", "-Dglib=disabled", "-Dgobject=disabled"}
        table.insert(configs, "-Ddefault_library=" .. (package:config("shared") and "shared" or "static"))
        import("package.tools.meson").install(package, configs)
    end)

在 Xmake 中集成 Autoconf 項目

我們也可以使用 package.tools.autoconf 來本地集成帶有 autoconf 維護的第三方代碼庫。

package("libev")
    set_sourcedir(path.join(os.scriptdir(), "3rd/libev"))
    on_install(function (package)
        import("package.tools.autoconf").install(package)
    end)

package.tools.autoconf 和 package.tools.cmake 模塊都是可以支持 mingw/cross/iphoneos/android 等交叉編譯平臺和工具鏈的，xmake 會自動傳遞對應的工具鏈進去，用戶不需要做任何其他事情。

在 Xmake 中集成 Gn 項目

我們也可以使用 package.tools.gn 來本地集成帶有 GN 維護的第三方代碼庫。

package("skia")
    set_sourcedir(path.join(os.scriptdir(), "3rd/skia"))
    add_deps("gn", "ninja")
    on_install(function (package)
        import("package.tools.gn").install(package)
    end)

這裏有完整的腳本例子：Skia with GN

在 Xmake 中查找使用 CMake/C++ 包

現在 CMake 已經是事實上的標準，所以 CMake 提供的 find_package 已經可以查找大量的系統庫和模塊，我們也可以完全複用 CMake 的這部分生態來擴充 xmake 對包的集成。

只需要像集成 vcpkg/conan 包那樣，將包命名空間改成 cmake:: 就可以了。

add_requires("cmake::ZLIB", {alias = "zlib", system = true})
target("test")
    set_kind("binary")
    add_files("src/*.c")
    add_packages("zlib")

我們指定 system = true 告訴 xmake 強制從系統中調用 cmake 查找包，如果找不到，不再走安裝邏輯，因爲 cmake 沒有提供類似 vcpkg/conan 等包管理器的安裝功能，只提供了包查找特性。

指定版本

add_requires("cmake::OpenCV 4.1.1", {system = true})

指定組件

add_requires("cmake::Boost", {system = true, configs = {components = {"regex", "system"}})}

預設開關

add_requires("cmake::Boost", {system = true, configs = {components = {"regex", "system"},
                                             presets = {Boost_USE_STATIC_LIB = true}}})

相當於內部調用 find_package 查找包之前，在 CMakeLists.txt 中預定義一些配置，控制 find_package 的查找策略和狀態。

set(Boost_USE_STATIC_LIB ON) -- will be used in FindBoost.cmake
find_package(Boost REQUIRED COMPONENTS regex system)

設置環境變量

add_requires("cmake::OpenCV", {system = true, configs = {envs = {CMAKE_PREFIX_PATH = "xxx"}}})

指定自定義 FindFoo.cmake 模塊腳本目錄

mydir/cmake_modules/FindFoo.cmake

add_requires("cmake::Foo", {system = true, configs = {moduledirs = "mydir/cmake_modules"}})

在 Cmake 中集成 Xrepo 依賴包

除了可以在 Xmake 中集成 CMake 項目，我們也可以在 CMake 中直接集成 Xmake/Xrepo 提供的包，只需要使用 xrepo-cmake 提供的 CMake Wrapper。

例如：

cmake_minimum_required(VERSION 3.13.0)
project(foo)

# Download xrepo.cmake if not exists in build directory.
if(NOT EXISTS "${CMAKE_BINARY_DIR}/xrepo.cmake")
    message(STATUS "Downloading xrepo.cmake from https://github.com/xmake-io/xrepo-cmake/")
    # mirror https://cdn.jsdelivr.net/gh/xmake-io/xrepo-cmake@main/xrepo.cmake
    file(DOWNLOAD "https://raw.githubusercontent.com/xmake-io/xrepo-cmake/main/xrepo.cmake"
                  "${CMAKE_BINARY_DIR}/xrepo.cmake"
                  TLS_VERIFY ON)
endif()

# Include xrepo.cmake so we can use xrepo_package function.
include(${CMAKE_BINARY_DIR}/xrepo.cmake)

xrepo_package("zlib")

add_executable(example-bin "")
target_sources(example-bin PRIVATE
    src/main.cpp
)
xrepo_target_packages(example-bin zlib)

添加帶有配置的包

我們，也可以跟在 Xmake 中一樣，定製包的可選特性。

xrepo_package("gflags 2.2.2" CONFIGS "shared=true,mt=true")

add_executable(example-bin "")
target_sources(example-bin PRIVATE
    src/main.cpp
)
xrepo_target_packages(example-bin gflags)

使用來自第三個存儲庫的包

除了從 Xmake 官方維護的存儲庫安裝軟件包之外，我們也可以直接在 CMake 中使用它來安裝來自第三方倉庫的包，只需將倉庫名稱添加爲命名空間即可。

例如：vcpkg::zlib, conan::pcre2。

xrepo_package("conan::gflags/2.2.2")
xrepo_package("conda::gflags 2.2.2")
xrepo_package("vcpkg::gflags")
xrepo_package("brew::gflags")

通過這種方式，我們將在 CMake 中集成使用 vcpkg/conan 包的方式進行了統一，並且額外提供了自動包安裝特性，以及對 homebrew/conda 等其他包倉庫的支持。