前面的文章分享過線上質量保障的第一要務——業務防資損的內容，也聊過我對於線上質量保障的一些實踐和想法，但最終，想法和實踐是要落地才能產生價值的。
這篇文章，聊聊生產環境質量保障相關的話題，即爲了保障生產環境的質量，我們要面臨哪些挑戰。
測試環境和生產環境的區別
傳統的軟件測試實踐中，大部分測試活動的開展都是在測試環境進行的。無論是爲了驗證被測系統的功能正確性、系統健壯性，還是異常場景下的容錯和處理能力，我們會採用各種極端方法來對系統展開測試。
在測試環境有時候爲了便於測試和debug，甚至會直接修改數據庫數據或者修改服務配置。之所以這樣做，一方面是直接修改可以更快的驗證，另一方面則是無論在測試環境做什麼都不會對業務運行造成直接的影響和故障，即這樣做理論上來說是沒有多少風險和損失的。
雖然測試環境不穩定或者被測服務如果經常無故掛了，也會影響測試活動的正常開展，降低測試過程效率。但因爲在測試環境，所以大家也默認接受了測試環境的不穩定以及服務掛了又得找人看看原因或者重啓服務的事實。
但是在生產環境，則不能做這些操作了，因爲可能僅是一個配置參數的變化，就可能導致生產環境大面積故障。生產環境和測試環境最大的區別，就是各種變更操作帶來的風險和損失無完全不在一個量級。
生產環境質量保障的四大挑戰
近幾年測試左移右移的理念在越來越多的公司有了落地實踐，測試右移簡單來說，就是將測試工作結束的環節從運維階段向後拓展，即覆蓋到服務發佈、線上巡檢，進行持續質量運營和度量評估。
測試右移的手段，常見的有線上自動化巡檢、配置變更檢查、灰度發佈驗證、應急響應、質量度量和評估。要落地這些測試右移的工程實踐，在我看來，有如下四點問題需要解決。
場景複雜
這點不難理解，爲了保障生產環境的系統質量，開展測試右移的實踐，首先要解決的就是場景問題。生產環境的場景複雜性，主要有如下三點：
- 用戶場景複雜：典型的特徵是多端用戶(網頁/客戶端/移動端/小程序)、多種網絡情況(移動網絡/Wi-Fi/熱點)、用戶操作習慣，這幾點特徵帶來的挑戰其實就是用戶體驗問題。
- 業務場景複雜：這點其實不用解釋，稍微有一點規模的業務系統，要面臨的就是幾百個接口上千個業務場景。複雜的業務場景帶來的挑戰其實就是如何保障業務正常運營，如何達成業務目標價值。
- 系統架構複雜：時下很流行的分佈式系統架構、容器化部署本身就是一個很複雜的技術體系，更不要提支撐這套複雜技術體系的多域名、多機房、多集羣。在這種複雜的技術架構下，對質量保障工作來說最大的挑戰就是每次迭代或者技術改進，如何保證系統的穩定性問題。
數據污染
測試環境可以隨意用各種測試賬號和數據，甚至可以直接修改數據庫的數據來達到快速驗證的效果，但生產環境肯定不能這麼幹，風險太高，變更帶來的影響不可評估。
要保障生產環境的系統質量，開展測試右移的實踐，在我看來最難的一點就是數據污染問題，即我們的測試右移操作不能對生產業務造成影響，要對這些測試右移操作產生的數據有合理的處理手段。
比如要在生產環境開展自動化巡檢，典型的可能造成數據污染的場景如下：
- 巡檢賬號：巡檢賬號要考慮到權限問題，不同權限會帶來不同的安全隱患。
- 巡檢數據：巡檢所使用的數據和執行巡檢所產生的數據，要進行數據隔離和數據清理。
- 巡檢日誌：執行巡檢產生的日誌，要考慮如何管理甚至脫敏，否則會影響一些基於日誌的業務報表。
- 巡檢機制：執行巡檢的流程如何制定？巡檢任務是否需要審批？需要哪些角色配合？這些都很考驗組織管理能力。
風控安全
風控和安全的因素，在很多小公司是很容易被忽略的，這也就導致了很多的薅羊毛和賬號信息泄漏導致的財產損失問題。在生產環境進行測試右移實踐，需要考慮到如下幾點：
- 風控規則：巡檢任務如何制定才能滿足風控規則，比如行爲習慣、賬號IP、敏感字符。
- 黑白名單：巡檢是個高頻場景，且執行任務的服務IP相對集中，容易被拉黑，要考慮黑白名單禁用放行。
- 安全合規：巡檢使用的數據是否符合數據安全規定(地址/手機號)？以及應用安全和網絡安全等各種規則。
權限管理
權限管理主要考慮如下六點：
- 用戶權限：某些系統或者場景，允許同一用戶不同賬號登陸操作。
- 賬號權限：不同的賬號有不同的權限範圍，可以執行不同的操作，
- 登錄權限：賬號登錄的設備、登陸的IP地址甚至人臉識別驗證場景。
- 執行權限：某些操作或者任務要對已登錄賬號進行鑑權，是否在權限範圍內。
- 審批權限：最常見的就是財務和人事OA系統的審批場景，以及是否可以臨時授權。
- 通知權限：生產巡檢產生的結果或者數據，可以通知哪些角色，要屏蔽哪些賬號角色。
以上就是在生產環境開展質量保障工作，落地測試右移要面臨的四大挑戰，解決了這些問題，生產環境的質量保障工作才能順利開展。