Jenkins擴展釘釘消息通知

背景

Jenkins藉助釘釘插件，實現當構建失敗時，自動觸發釘釘預警。雖然插件允許自定義消息主體，支持使用 Jenkins環境變量，但是侷限性依舊很大。當接收到釘釘通知後，若想進一步查看報錯具體原因，仍完全依賴郵件通知，很影響效率。

如何在釘釘通知消息中，獲取到本次構建的具體內容，如失敗佔比、失敗用例報錯詳情等，本文記錄瞭解決思路。最終實現結果如圖：

解決思路

Jenkins + RobotFramework 項目

思路如下：

使用Startup Trigger插件和Groovy plugin插件, 在服務重啓時自動修改Jenkins CSP配置, 解決Robot Framework項目測試報告在Jenkins服務器上無法預覽的問題, 如下:

System.setProperty("hudson.model.DirectoryBrowserSupport.CSP", "")

Jenkins項目構建完成後, 在構建後操作中，利用Post Build Task插件提供的命令行功能, 傳入相關參數執行封裝的腳本, 如下：

if "%構建失敗時觸發釘釘通知%"=="true" (
    echo ************推送釘釘消息通知************
    cd %WORKSPACE%/test
    C:/python38/python.exe dingtalk.py --id=%BUILD_NUMBER% --name=%JOB_NAME% --server=xxxxxx
    echo *******************************************
    exit 0
)

說明幾點：

“構建失敗時觸發釘釘通知” 是我自定義的布爾類型的項目構建參數，用於更方便的控制是否觸發釘釘消息通知；
dingtalk.py是封裝的腳本，其內容在下面會詳細說明；
Post Build Task 插件的位置必須位於 Robot Framework插件之後, 否則會引發以下異常:

robot.errors.DataError: Reading XML source '<in-memory file>' failed: Incompatible XML element 'html'

編寫第二步中調用的釘釘消息通知腳本，其核心思路可分爲兩點：
1. 獲取並分析本次構建結果文件(如: output.xml), 提取數據, 如: 失敗佔比、失敗用例報錯詳情等;
2. 組裝 Markdown 格式的消息主體, 然後調用 DingTalk Webhook 接口, 推送消息通知;
核心代碼如下：

def fetch_robot_output_xml(xml_name=None, save=False, cache=True) -> str:
    """ 從服務器上獲取 Robot Framework 項目構建完成後生成的xml文件
    @param xml_name: xml文件名稱, 部分項目會合並測試報告, 默認`merge.xml`
    @param save: 是否將文件保存到本地, 默認 False
    @param cache: 默認爲True, 會首先遍歷本地已保存的構建文件, 若文件名稱不存在纔會向服務器發起請求;
    @Returns : xml文件內容
    """
    xml_name = xml_name if xml_name else "merge.xml"
    url = url_prefix + f"{name}/{id}" + f"/robot/report/{xml_name}"

    output_xml = None
    if cache:
        for xml in robot_outputs.glob('*.xml'):
            if name in xml.stem and id in xml.stem:
                output_xml = xml.read_text(encoding='utf-8')
                break
    if not output_xml:
        print(f"發起請求獲取測試報告, 目標URL: {url}")
        # curl -X GET {URL} --user {USER}:{TOKEN}
        resp = requests.get(url, auth=HTTPBasicAuth(jenkins_user.encode('utf-8'), jenkins_token.encode('utf-8')))
        resp.encoding = 'utf-8'
        output_xml = resp.text

    if save and not cache:
        save_output_xml(output_xml, f"{server}_{name}_{id}_output.xml")
    print("Done.")
    return output_xml

def parse_robot_result(xml) -> dict:
    """解析用例運行結果
    pip install robotframework==3.2.1
    獲取統計信息, 優先使用此方法, 因爲xml文件中可能會不包含有效的測試報告信息, 如請求獲取文件服務器返回404的情況
    """
    print('解析用例運行結果...')
    try:
        suite = ExecutionResult(xml).suite
    except DataError as e:
        raise e('解析xml文件失敗, 請檢查構建文件內容是否完整, 確認服務器上的構建文件是否已被刪除')

    all_tests = suite.statistics.critical
    total, passed, failed = all_tests.total, all_tests.passed, all_tests.failed
    pass_rate = round((passed / total) * 100, 2)
    is_success = True if failed == 0 else False

    stat = {'server': server, 'job': name, 'build_id': id, 'total': total, 'passed': passed, 'failed': failed, 'pass_rate': str(pass_rate) + "%", 'is_success': is_success}
    print('Done')
    return stat


def pick_fail_cases(xml: str) -> list:
    print('獲取所有失敗用例及其報錯信息...')
    root = ET.fromstring(xml)

    fail_cases = []
    for case in root.iter('test'):
        status = case.find('status')
        if status.get('status') == "FAIL":
            fail_cases.append({"case": case.get('name'), "message": truncate_text(status.text)})
    print('Done.')
    return fail_cases

def package_dingtalk_text(stat: dict) -> dict:
    print("組裝釘釘通知信息主體...")
    # 項目頁面地址
    job_url = url_prefix + stat['job'] + '/'
    # 本次構建ID以及詳情頁面地址
    build_id = stat['build_id']
    build_url = job_url + build_id + '/'
    # 統計信息
    summary_text = f"用例總數：{stat['total']}，失敗用例數：{stat['failed']}， 通過率： {stat['pass_rate']}\n"
    # 用例報錯詳情
    case_error_details = ""
    num = 1  # 序號
    if len(stat['fail_cases']) > 0:
        for case in stat['fail_cases']:
            case_error_details = case_error_details + f"{num}. 用例名稱: {case['case']}, 失敗原因: {case['message']}\n"
            num += 1
    print("Done.")
    return {
        "server_show_name": server_show_name,
        "job_show_name": job_show_name,
        "job_url": job_url,
        "build_id": build_id,
        "build_url": build_url,
        "summary_text": summary_text,
        "case_error_details": case_error_details
    }


def ding_talk(message=None):
    """
    目前只支持markdown語法的子集, 參考官方文檔: https://developers.dingtalk.com/document/app/custom-robot-access
    """
    print("推送釘釘消息通知...")
    webhook = "https://oapi.dingtalk.com/robot/send?access_token=1048af6c9a25ea5e924ae328c6782b68c48a40bcea773df96eadce783f2941ca"
    headers = {"Content-Type": "application/json", "Charset": "UTF-8"}

    payload = {
        "msgtype": "markdown",
        "markdown": {
            "title":
            "心跳測試",
            "text":
            f"# [[{message['server_show_name']}] 心跳測試-{message['job_show_name']}]({message['job_url']})\n***\n>*失敗用例會自動重複執行一次, 若仍然失敗, 則標記爲失敗*\n***\n- 任務：#[{message['build_id']}]({message['build_url']})\n- 狀態：失敗\n- 統計信息：{message['summary_text']}\n - 失敗用例報錯詳情： \n\n{message['case_error_details']}\n"
        },
        "at": {
            "isAtAll": True
        }
    }
    resp = requests.post(webhook, json=payload, headers=headers)
    print(resp.text)
    print("Done.")
    return resp

Jenkins + Jmeter 項目

前兩步是共同的，也是通過解析result.jtl文件提取需要的數據，直接貼代碼：

def fetch(xml_name=None, save_file=False) -> str:
    xml_name = xml_name if xml_name else "result.jtl"
    url = url_prefix + f"{name}/{id}" + f"/artifact/{name}result/{xml_name}"
    print(url)
    resp = requests.get(url, auth=HTTPBasicAuth(jenkins_user.encode('utf-8'), jenkins_token.encode('utf-8')))
    status_code = resp.status_code
    if status_code == 200:
        resp.encoding = 'utf-8'
        xml = resp.text

        if save_file:
            save(xml, f"{server}_{name}_{id}_{xml_name}")

        return xml
    elif status_code == 404:
        print(f"{status_code}, 指定的測試報告不存在, 可能已被刪除, 請去服務器上檢查")
        raise Exception("{status_code}, 指定的測試報告不存在, 可能已被刪除, 請去服務器上檢查")
    elif status_code == 500:
        print(f"獲取測試報告失敗, 詳情: {status_code} >> {resp.text}")
        raise Exception(f"獲取測試報告失敗, 詳情: {status_code} >> {resp.text}")
    else:
        return None

def parse(xml):
    """分析xml測試報告, 提取數據"""
    result = {}
    try:
        root = ET.fromstring(xml)
    except ParseError:
        raise ParseError("解析XML文件失敗, 請檢查服務器上文件是否存在")

    # 獲取統計信息
    samples = root.findall('httpSample')
    failures = [sample for sample in samples if sample.get('s') == "false"]
    failures_cnt = len(failures)
    success = [sample for sample in samples if sample.get('s') == "true"]
    success_cnt = len(success)
    is_success = True if failures_cnt == 0 else False
    success_rate = "100%" if is_success else str(round((success_cnt / len(samples)) * 100, 2)) + "%"
    result['summary'] = {"samples": len(samples), "is_success": is_success, "failures_cnt": failures_cnt, "success_rate": success_rate}

    # 數據清洗, 獲取失敗用例的報錯信息
    fail_details = []
    if failures_cnt > 0:
        pat = re.compile(".*R-TraceId:(.*?)\n.*", re.DOTALL)
        for sample in failures:
            msg = [] 
            for res in sample.findall('assertionResult'):
                for child in res:
                    if child.tag in ("failure", "error") and child.text == "true":
                        try:
                            msg.append(res.find('failureMessage').text)  # ?這個節點可能會不存在
                        except AttributeError:
                            msg.append("")

            response_header = sample.find('responseHeader').text
            try:
                traceid = pat.match(response_header).group(1).strip()
            except AttributeError:
                traceid = None
            response_data = sample.find('responseData').text.replace('\r\n', '')
            fail_details.append({
                'sample': sample.get('lb'),
                "traceid": traceid,
                'data': truncate_text(response_data),
                'msg': truncate_text(",".join(msg))
            })

    result['fail_samples'] = fail_details
    result.update({
        "server": server,
        'job': name,
        'build_id': id,
    })
    return result

參考文檔:

Jenkins DingTalk插件文檔: https://jenkinsci.github.io/dingtalk-plugin/guide/getting-started.html
Jenkins Robot Framework插件文檔: https://plugins.jenkins.io/robot/
釘釘自定義機器人接入官方文檔: https://developers.dingtalk.com/document/app/custom-robot-access/title-nfv-794-g71
RobotFramework測試用例的自行解析： https://www.jianshu.com/p/3e1b7ba3a48c

Jenkins擴展釘釘消息通知

背景

解決思路

Jenkins + RobotFramework 項目

Jenkins + Jmeter 項目

參考文檔:

關於遊戲付費的一點想法

我通過CKA和CKS啦！

Pytest Fixture Notes

使用 `Decimal`模塊執行精確的浮點數運算

Jenkins Build History 呈現自定義內容

Pytest Fixture

使用Poetry管理Python項目

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結