2023年12月6日，美國佛羅里達州邁阿密派恩克雷斯特灣學院（Pinecrest Cove Academy）的兩名學生被停學。幾天後的12月22日，他們被邁阿密戴德警察局逮捕。並被指控犯有三級重罪，罪名是涉嫌製作同學的“深度僞造”裸照。
根據警方披露的信息顯示，這兩名年齡分別爲13歲和14歲的中學生男孩，被指控使用一個未命名的“人工智能應用程序”來生成“12至13歲”其他學生的露骨圖像。
根據 2022 年美國佛羅里達州的一項法律，他們被指控犯有三級重罪，該法律將未經受害者同意傳播“深度僞造”的色情圖像定爲犯罪。
媒體稱，這起事件可能是美國首例與人工智能生成的裸體圖像有關的刑事指控。
頂象防禦雲業務安全情報中心發佈的《“AI換臉”威脅研究與安全策略》情報專刊（點此下載）中特別提到，通過對“深度僞造”創建或傳播深度僞造的個人施加法律後果，可以阻止有害內容的擴散，並讓肇事者對其行爲負責。對“深度僞造”欺詐定性刑事犯罪可以起到威懾作用，防止將這項技術濫用於欺詐或其他惡意目的，是減輕“深度僞造”技術有害影響的一種有效方法，必須對那些故意製造或促進有害深度僞造傳播的人處以刑事處罰。
歐盟《人工智能法案》對“深度僞造”的監管
AI治理攸關全人類命運，是世界各國面臨的共同課題。全球多個國家和組織紛紛出臺倡議或規範，一致要求加強AI的安全監管。所以，各國需要應對這一緊迫挑戰需要實施強有力的法律措施。
當地時間3月13日，歐洲議會正式投票通過並批准《人工智能法案》（Artificial Intelligence Act，簡稱AIA），以嚴格規範人工智能的使用。預計將於2025年初生效並於2026年實施，其中一些條款將更早生效。《人工智能法案》草案最早由歐盟委員會在2021年4月提出。該法案將規範將涵蓋高影響力、通用人工智能模型和高風險人工智能系統，它們必須遵守特定的透明度義務和歐盟版權法。
針對高風險 AI 系統，《人工智能法案》制定了一系列安全條款和要求，主要包括四方面。
數據治理方面。確保數據收集、處理和使用的合法性、公平性和安全性。數據主體享有數據訪問、更正、刪除和限制處理等權利。
風險評估方面。開發人員必須進行風險評估，以識別和減輕 AI 系統可能帶來的風險。風險評估必須涵蓋 AI 系統的準確性、可靠性、安全性、公平性和隱私保護等方面。
透明度方面。要求提供有關 AI 系統功能、性能和風險的信息，以便用戶能夠做出明智的選擇。信息必須以清晰、易懂的方式提供給用戶。
人機交互方面。設計爲人機交互，確保用戶能夠理解和控制 AI 系統的行爲。用戶必須能夠隨時終止 AI 系統的操作。
《人工智能法案》還要求，AI提供商必須建立有效的監督和問責機制，確保 AI 系統的安全和可靠運行。開發人員和使用者必須對 AI 系統造成的損害承擔責任。對違反規定的行爲進行處罰，最高可達違法行爲全球營業額的6%或3000萬歐元，以較高者爲準。
各國加強“深度僞造”的安全監管
“深度僞造”涉及多種技術和算法，這些技術和算法相互配合，可以生成非常逼真的圖像或視頻。將“深度僞造”的虛假內容與真實信息的元素拼湊在一起，就可以用於可以僞造身份、傳播錯誤信息、製作虛假數字內容，進行各類欺詐。這是數字時代的一種威脅形式，在這個欺詐體系中，攻擊者看不見且難以捉摸，他們不僅製作信息，還操縱每個參與者感知的現實結構。因此，用法律規範約束“深度僞造”濫用是各國的統一行動。
早在2022年11月，國家網信辦、工信部與公安部聯合發佈《互聯網信息服務深度合成管理規定》，針對深度合成欺詐制定了一系列的規定和要求。對於深度合成信息的標識，規定要求提供智能對話、合成人聲、人臉生成、人臉替換、人臉操控、虛擬人物、虛擬場景等服務的，應當進行顯著標識，避免公衆混淆或者誤認。同時，深度合成信息內容應當真實準確，不得利用深度合成製作虛假新聞信息、歪曲事實真相，誤導公衆認知，或者損害他人合法權益。
2024年3月1日，全國網絡安全標準化技術委員會發布《生成式人工智能服務安全基本要求》，對生成式人工智能服務在安全方面的基本要求，包括語料安全、模型安全、安全措施等予以明確。其中，語料內容安全方面，服務提供者需要關注語料內容過濾、知識產權、個人信息三個方面。個人信息方面，強調使用包含敏感個人信息的語料前，應取得對應個人單獨同意或者符合法律、行政法規規定的其他情形。
2024 年 2 月 8 日，美國聯邦通信委員會宣佈機器人通話中 AI 生成的聲音爲非法，美國各州的立法者已經出臺了立法，以打擊AI生成的虛假和錯誤信息。
技術上防範“深度僞造”欺詐
要打擊“深度僞造”欺詐，除了法律法規的監管，還需要技術的識別與防禦：一方面識別檢測僞造的視頻、圖片和信息（有效甄別出虛假僞造的內容）；另一方面需要對實行“深度僞造”欺詐的渠道和平臺網絡進行識別與檢測（多方面提升數字賬號的安全性）。
1、增強人臉信息安全
《歐盟人工智能法案》要求生AI工具的提供者有義務以允許檢測合成/虛假內容的方式設計這些工具、增加數字水印、及時限制用於驗證個人身份的數字身份證等。AI 水印的工作原理是將獨特的信號嵌入到人工智能模型的輸出中，此信號可以是圖像或文本，旨在將內容標識爲 AI 生成的內容，以幫助他人識別有效識別。
此外，數字簽名和區塊鏈賬本具有唯一性，可以對行爲來源跟蹤，並對其進行標記以供審查。它們的不變性意味着它們可用於通過使用哈希函數來檢測對原始文件的任何篡改，從而保證數字內容的真實性。時間戳和可追溯性等關鍵功能可用於確定內容創建的來源和時間。當然，這些數據在稱爲可信執行環境 （TEE） 的安全環境中進行操作。
2、識別僞造的虛假信息
基於深度學習的生成對抗網絡（GAN）能夠訓練一種稱之爲“鑑別器”神經網絡模型。通過訓練，“鑑別器”可以更準確地識別虛假圖像的目標是區分真實與虛假的圖像視頻，識別真實版本和創建版本之間的任何差異。
此外大數據模型可以快速分析大量音頻數據，識別“深度僞造”的音頻內容。例如，西班牙媒體巨頭Prisa Media推出一款名爲VerificAudio的工具，能夠識別西班牙語的真實聲音和僞造聲音，用於發現“深度僞造”製作的音頻。該工具目前可供Prisa在墨西哥、智利、哥倫比亞和西班牙的新聞編輯室使用，並正在努力將其推廣到世界各地的所有記者。
3、保障人臉應用安全
基於AI技術與人工審覈人臉反欺詐系統，可以防範“深度僞造”的虛假視頻和虛假圖片的利用。頂象全鏈路全景式人臉安全威脅感知方案，能夠有效檢測識別“深度僞造”的虛假視頻和虛假圖片。它針對人臉識別場景及關鍵操作的實時風險監測（如攝像頭遭劫持、設備僞造、屏幕共享等），然後通過人臉環境監測、活體識別、圖像鑑僞、智能覈實等多維度信息進行覈驗，發現僞造視頻或異常人臉信息後，可自動阻斷異常或欺詐操作。
對設備信息、地理位置以及行爲操作進行比對識別，能夠發現並防範“深度僞造”欺詐的異常操作。頂象設備指紋通過對設備指紋的記錄和比對，可以辨別合法用戶和潛在的欺詐行爲。其對每個設備進行唯一標識和識別的技術，識別出虛擬機、代理服務器、模擬器等被惡意操控的設備，分析設備是否存在多賬號登錄、是否頻繁更換IP地址、頻繁更換設備屬性等出現異常或不符合用戶習慣的行爲，幫助追蹤和識別欺詐者的活動。
4、保障內容傳播渠道安全
社交媒體平臺通常將自己定位爲僅僅是內容的渠道，澳大利亞競爭和消費者委員會 （ACCC） 正在將 Facebook告上法庭。ACCC 還認爲，Facebook應該作爲騙局的從犯承擔責任——因爲在收到問題通知後未能及時刪除誤導性廣告。至少，平臺應該負責及時刪除用於欺詐目的的深度僞造內容。很多平臺已經聲稱正在這樣做，例如，在 Facebook 上，任何 AI 生成的內容都可能顯示一個圖標，清楚地表明內容是用人工智能生成的。
社交媒體公司在限制虛假內容的傳播方面影響力最大，能夠檢測並將其從其平臺上刪除。然而，包括 Facebook、YouTube 和 TikTok 在內的主要平臺的政策規定，他們只會在“嚴重傷害”人們的情況下才刪除欺詐內容。
業務安全產品：免費試用
業務安全交流羣：加入暢聊