作者：網易易盾企業安全高級解決方案工程師高洪亮
我是一名解決方案工程師，與企業用戶的交流是我工作中重要的組成部分。在內容安全領域，我與許多不同類型的企業用戶溝通、交流過，以下是個人對於內容安全體系建設的一些認知和思考。
1.是否引入第三方專業的內容安全服務？
在這個問題上，可以按照內容數據量的規模大小，將內容平臺劃分爲小規模、中等規模、超大規模三個級別。不同的平臺面臨的問題不同，需要評估的因素優先級也不同，這裏從平臺規模來分別說明一下，到底是自建，還是接入第三方內容服務。
1.1 小規模平臺
例如一個發展初期的電商平臺，每天要審覈的用戶評論可能只有幾千條或者幾萬條，大部分內容是沒有問題的。這種情況下，內容審覈工作的成本因素優先級較高，對於可能存在的灌水、謾罵、無意義評論，用戶可以選擇投入1-2名運營人員進行人工審覈，基本可以滿足對保障效果和低成本的要求。
1.2 中等規模平臺
平臺發展到中等規模時，每天產生百萬甚至千萬量級的數據。 這種情況下，對於審覈的需求，效果和效率優先級最高，成本因素優先級下降。
自建審覈體系，沒有長時間的數據、人員經驗積累，審覈效果很難保障，而且需要投入大量的人力和硬件設備，成本要達到百萬甚至千萬級別。並且平臺發展到中等規模時會面臨更多的問題，可能有惡意競爭對手在平臺發佈灌水、惡意引流信息，也有黑灰產在平臺發佈黃賭毒等違法違規的信息……
這種情況下，引入第三方服務商的內容安全服務，來保障審覈效果並提高審覈效率，而企業自身專注於業務層面，這種選擇符合公司快速穩定發展的戰略。
1.3 超大規模平臺
以較大的視頻平臺爲例，在業務量超大的情況下，成本因素降爲最低，因爲不論是引入第三方服務，還是自建審覈體系，成本投入都非常之高。
另外發展到超大規模的企業，肩負的社會責任較大，在審覈標準上，除了一些必要的違規違法內容需要審覈，還有一些負面的，會造成不良引導的內容需要審覈。例如:未婚已孕的低齡少女媽媽直播，這類內容需要審覈人員介入，依靠自動檢測平臺與審覈人員的主觀判斷能力，共同保障審覈效果。
從公開渠道信息可以瞭解到，一些視頻業務爲主的公司，人工審覈團隊已經達到了上萬人，團隊主要分佈在二三線城市。除了有成本、效果、效率因素的考慮，還會有數據敏感性、公司戰略發展等因素的影響，所以綜合來看超大規模平臺引入第三方服務的概率很小。
2. 用戶對於內容服務審覈的需求分析
如果一個用戶已經確定了要使用第三方專業的內容安全服務，在綜合評選合適的合作伙伴時，有多個評選因素，排除掉商務關係，按照優先級分爲：審覈效果、價格、其他因素(公司實力、 服務體驗、業內口碑等)。 因爲價格和公司實力等因素非常容易比對，就不做過多的闡述，這裏重點闡述下對於審覈效果上評比的一些心得。
2.1 對於審覈效果認知的誤區
用戶在不同的階段會用不同的認知和誤區。剛剛接觸到內容審覈業務的用戶，會比較看重各個內容安全服務商對於審覈效果的宣傳數字。
如果一家公司宣傳的準確率99.9%，可能高於其他人0.1個百分點，用戶會覺着數字越高越好。但是當實際測試對比馬上就會發現，這個數字只是一個實驗室環境的數據，可是能針對某一個樣本級的測試數據，不代表用戶的業務審覈準確率也能達到這個數字。
另外這個數字也是比較籠統的，因爲不同類型的數據、不同的審覈標準下的準確率也是各不相同的，所以不要過於迷信準確率的數字，需要結合實際的業務數據測試來看效果。
在測試階段，會出現沒有達到用戶預期的檢測效果。這種情況下不要急於判定審覈服務能力差，因爲審覈效果是可以提升的，是需要經過“磨合”。 這裏的“磨合”，可以是運營人員策略上的調整，也可以是算法團隊對於模型的調優，需要用戶與服務方運營人員充分溝通，雙方共同努力來提升審覈效果。
這裏也需要用戶瞭解兩個概念：準確率與召回率。準確率是指對數據判斷正確的比例，而召回率是指找出問題數據的比例，兩者有互斥的關係，高召回率可能會降低準確率，所以對於業務上使用的策略也會影響到檢測效果，這個要結合用戶業務性質與檢測時期來決定策略上的調整。
2.2 效果保障——快捷高效的運營機制
服務方的運營人員主要職責在於調整審覈規則，收集問題並快速解決，所以溝通方式一定要快捷有效。易盾在服務上採用IM羣爲主要的溝通方式，並以郵件、電話、工單等方式輔助，讓用戶能夠有快速反饋的渠道。同時在人員配備上，採用輪班等形式，形成7*24小時的全天候服務，達到快速響應的效果。而且在易盾內部，運營團隊與算法團隊有良好的配合機制，這樣當用戶遇到問題時，無論是策略還是算法層面的問題，用戶能夠快到找到運營人員進行統一協調快速解決問題。
2.3 效果保障——人工審覈服務
目前第三方內容安全的服務，主要是以SaaS形式提供自動化審覈服務。我們需要知道的是純自動化審覈是沒有辦法鑑別出全部的內容問題。易盾在機器檢測服務之外，還提供全天候的人工審覈服務，對於用戶來說有更多的選擇，可以是自己的運營團隊來做，也可以是交給易盾完成整個審覈流程。
易盾的審覈團隊人員經驗較爲豐富，對於政策相關的敏感內容能夠做到嚴格把控，人員的高審覈素質加上易盾成熟的人工審覈系統，可以爲用戶提供高效的、可靠的人工審覈。