「Jenkins」- 使用接口批量创建任务

问题描述

在仓库中，有很多项目（大约200个），现在需要为这些项目创建 Jenkins 自动化流水（Jenkins Pipeline）。

我们想通过接口批量创建所有项目，而不是手工创建（避免巨大工作量）。

该笔记见记录：如何通过 API 操作 Jenkins 服务。

注意事项

我们仅记录解决问题的关键步骤，没有面面俱到，具体操作需要根据需求调整。

解决办法

方案一、通过 REST API 操作（使用 Python jenkins 模块）。通过 Jenkins 的 Python 模块进行批量操作（编程）。我们使用 python-jenkins 1.7.0 模块。

方案二、通过 Shell 命令（curl），发送 HTTP 请求

方案一、使用 Jenkins 模块（Python）

最开始，准备工作

我们需要在 Jenkins 中创建用于请求认证的 TOKEN 信息：
1）Click your name (upper-right corner).
2）Click Configure (left-side menu).
3）在创建 TOKEN 后，要保存页面，并将 TOKEN 记录（刷新页面将无法查看）

演示程序（Demo）

如下示例，演示如何使用 python-jenkins 模块获取所有 Job 定义，并过滤出所有使用 Join plugin 的 Job：
#!/usr/bin/python3

import
 

jjb/python-jenkins: Python API for managing jobs and nodes in a Jenkins CI instance - python-jenkins
Python Jenkins — Python Jenkins 1.1.1.dev1 documentation

方案二、通过 Shell 命令（cURL）

最开始，准备工作

我们需要在 Jenkins 中创建用于请求认证的 TOKEN 信息：
1）Click your name (upper-right corner).
2）Click Configure (left-side menu).
3）在创建 TOKEN 后，要保存页面，并将 TOKEN 记录（刷新页面将无法查看）

第一步、获取 config.xml 文件

首先，获取已定义任务的 config.xml 文件（用作模板）：
curl -X GET "http://<example.com>/job/<your-job-name>/config.xml" \
    -u "<username>:<API_TOKEN>" \
    -o "<mylocalconfig.xml>"


第二步、修改 config.xml 文件

将得到的 config.xml 为任务的配置文件，根据自己的需要进行修改。

第三步、创建新任务

使用修改的 config.xml 定义新任务：
curl -s -XPOST 'http://<example.com>/createItem?name=<yourJobName>' \
    -u "<username>:<API_TOKEN>" \
    --data-binary "@<mylocalconfig.xml>" \
    -H "Content-Type: text/xml"


补充：如果需要更新旧任务

与创建新任务类似，只是需要修改请求地址：
curl -X POST 'http://<example.com>/job/<your-job-name>/config.xml' \
    -u "<username>:<password>" \
    --data-binary "@<config.xml>" \
    -H "Content-Type: text/xml"


常见错误

Error 403 No valid crumb was included in the request

如果遇到上述操作，则表示 Jenkins 启用 CSRF 保护，解决方法如下所述。

方法一、在请求前，先获取 CRUMB 字段：

CRUMB=$(curl -s 'http://example.com/crumbIssuer/api/xml?xpath=concat(//crumbRequestField,":",//crumb)' -u username:API_TOKEN)
curl -s -XPOST 'http://example.com/createItem?name=yourJobName' -u username:API_TOKEN \
    --data-binary @mylocalconfig.xml \
    -H "$CRUMB" \
    -H "Content-Type:text/xml"


方法二、关闭 CSFR 保护（不建议）：Manage Jenkins => Configure Global Security => CSRF Protection

相关链接

Jenkins/Remote access API

参考文献

How to create a job using the REST API and cURL?
Jenkins -> 403 No valid crumb was included in the request #2067
How to update Jenkins Job config.xml file using curl
How to get the API Token for Jenkins - Stack Overflow