上海市生成式人工智能質量檢驗檢測中心（質檢中心）
兩張人眼看上去一模一樣的照片，機器人讀取後爲何會攻擊其中一張圖呢？
因爲不正常的照片中被嵌入了特殊的噪聲，人工智能產品讀取了帶有攻擊性的信息。【想起了嵌水印】
同樣，如同一張禁止標記，被放入了不同信息，人工智能產品讀取一張是正常的停止標籤，另一個則是綠燈。
瞭解當下最火熱的生成式人工智能如何保障可靠可信。
防止人工智能“變壞“，做產業健康診斷師
近年來，隨着生成式人工智能技術的快速發展，爲經濟社會發展帶來新機遇的同時，也產生了傳播虛假信息、侵害個人信息權益（換臉侵害明星肖像、合成語音進行詐騙等）、數據安全和偏見歧視等問題。
生成式人工智能質檢中心
在此背景下，上海首個生成式人工智能質檢中心在6月8日正式批籌。該中心由上海計算機軟件技術開發中心（上海科學院直屬單位）籌建，上海市人工智能行業協會推薦指導，提供人工智能質量“一站式”測評服務，面向生成式人工智能及其涉及的計算機視覺、自然語言處理、AI內容生成等領域，打造人工智能測評第三方服務新模式，聚焦生成式人工智能系統的邏輯推理能力、生成內容語義和諧性、功能有效性、性能、安全隱私風險等方面，開展系統檢測、風險評估、內容鑑別等專業服務。
人工智能發展不同於此前的軟件時代，需要不斷開放數據，不斷學習，才能不斷進步，走得更好。而開源開放也就意味着產生更多潛在的“危險”。蔡立志（上海科學院直屬單位上海計算機軟件技術開發中心主任）說：“就像孩子一樣，不正確的教育方式會教壞孩子，我們就是防止人工智能產品‘變壞’，阻止不良數據導入等。”
上海計算機軟件技術開發中心
據悉，上海計算機軟件技術開發中心去年就推進了300多個人工智能質檢項目，並在業界取得了良好的口碑。
“與傳統的檢測以發現不合格爲首要任務不同，在人工智能時代，新設立的生成式人工智能質量檢驗檢測中心不僅僅是守底線，更多的是引導產業向健康的方向發展。”宋俊典（上海計算機軟件技術開發中心副主任）解釋說，這就是新型產業檢測中心的不同之處。
近年來，在上海科學院的整體部署下，上海軟件中心積極佈局並開展了人工智能應用、人工智能治理、人工智能測評等技術研究與第三方技術服務。陸續參與人工智能國際、國家標準的研製，是國家信標委SC42人工智能分委會首批單位會員，參與編寫了《中國人工智能標準化白皮書（2021）》，完成了《人工智能 深度合成圖像系統技術規範》《人工智能 深度學習算法評估規範》《人工智能 計算機視覺系統測評規範》等30餘項標準研製。
“我們還在牽頭制定多項新標準，生成式只是人工智能的一部分，未來我們還會探索工業智能質檢、智慧醫療等領域。”蔡立志表示。
給狂飆的生成式人工智能繫上“安全帶”
生成式人工智能的狂飆突進，大模型時代已然降臨。在“百模大戰”越戰越酣之時，大模型其內生及衍生安全威脅也愈演愈烈，數據泄露、幻想、生產歧視、排斥和有害內容等安全問題層出不窮。如何將制約大模型應用發展的“絆腳石”變爲“壓艙石”？
人工智能模擬自動駕駛場景
以自動駕駛領域而言，自動駕駛需要通過真實世界的數據來訓練、測試和驗證模型算法的安全性和準確性，其過程需要大量數據支持和複雜的駕駛環境。然而，讓汽車通過實際道路測試在道路上可能遇到的每一個場景是不現實的，AIGC（人工智能生產內容）正可以用於模擬各種駕駛場景。
檢測模擬的環境和駕駛系統是否安全可靠
在上海市生成式人工智能質量檢驗檢測中心（質檢中心）內，檢測平臺正在進行“自動駕駛魯棒性檢測”。魯棒測試是對各個模塊的功能進行容錯性的測試，檢測AI模型或系統在異常輸入和苛刻環境條件下能否保持正常工作。
“自動駕駛包括車道、紅綠燈檢測等模塊，我們基於視覺去攻擊自動駕駛系統的感知算法，針對每一個模塊進行仿真檢測。”質檢中心檢測工程師馬澤宇說。
攻擊感知算法：影響實時圖像，紅綠燈檢測等
自動駕駛正快速在上海發展，如《浦東新區無駕駛人智能網聯汽車創新應用規定》以及相關實施細則的落實，上海浦東新區自動駕駛汽車已迎來了無人化階段，衆多企業正在加速產品的研發。業界專家認爲，在人工智能領域建立質檢中心，正是爲了給狂飆的生成式人工智能繫上“安全帶”。
截止到2023年7月8日，中國國內推出了近100個大模型（其中10億以上參數的，有79家），如何客觀地評價、比較大模型及其他AIGC模型的性能，成爲大模型應用的關鍵一環。
7月10日，國家網信辦等國家七部委聯合發文《生成式人工智能服務管理暫行辦法》，自2023年8月15日起施行，管理辦法明確了AIGC服務提供者的責任，包括信息源可信責任、生成內容合法合規責任、申報安全評估及算法備案責任。
管理辦法的落地亟需專業的第三方機構提供人工智能質量檢驗檢測服務。新建立的質檢中心將參考國內外人工智能測評標準和前沿技術，要建立人工智能檢驗檢測評價指標體系等。