從deepfakes深度偽造技術看AI安全

AI安全系列：以子之矛，攻子之盾——從deepfakes深度偽造技術看AI安全行業(yè)評級：看好2023年6月26日分析師郵箱劉雯蜀liuwenshu03@研究助理郵箱劉靜一liujingyi@證書編號S1230523020002證券研究報告摘要21、Deepfakes技術始于2014年，隨著AI大模型能力的提升關注度持續(xù)增高Deepfakes定義可分為廣義和狹義兩個層次，其中廣義上指利用了以生成對抗網(wǎng)絡技術（GAN）為主體的深度學習技術制造的看起來很真實但實際上屬于虛假的圖片或視頻。隨著AI大模型的能力不斷突破，deepfakes受到的關注度持續(xù)增高。2、

生成式

AI

模型是Deepfakes的技術基礎，而人臉偽造技術是deepfakes的一個重要分支生成式

AI

是深度學習的一個分支，根據(jù)生成內(nèi)容的類別，生成式AI模型可進一步被分為生成式語言模型和生成式圖片模型。而隨著多模態(tài)模型的應用逐步深入，生成式AI模型也開始向多模態(tài)方向發(fā)展。目前主流生成式AI模型包括VAE、GAN、diffusion模型等，stable

diffusion模型的發(fā)布再次使得生成式AI的輸出質(zhì)量大幅提升。人臉偽造技術是deepfakes的一個重要分支，可被進一步劃分為有目標可視身份偽造和無目標可視身份偽造，其中有目標可視身份偽造技術已經(jīng)在俄烏沖突中有所應用。3、生成式AI技術的迭代增加偽造圖片的真實度，同時增大AIGC識別難度考慮到：1）數(shù)據(jù)層面，可供訓練的數(shù)據(jù)集規(guī)模擴大，帶來模型效果的大幅提升；2）算法層面，算法框架的迭代與組合，使得模型訓練更加高效、穩(wěn)定；3）算力層面，算力水平的提升，助力更加高效的復雜模型訓練，AI偽造圖片的真實度不斷增加，使得識別難度增大，帶來的潛在風險提升。4、反AI生成市場空間約64億元針對AI生成圖像可能帶來的風險，各國政府陸續(xù)推出政策加以約束。根據(jù)我們測算，反AI生成市場空間約64億元，其中監(jiān)管側(cè)44億元，企業(yè)側(cè)20億元。5、部分反AI生成相關公司上市公司：美亞柏科、東方通非上市公司：瑞萊智慧、中科睿鑒、Illuminarty（海外）、AI

Voice

Detector（海外）、Google（海外）風險提示31、AIGC監(jiān)管以及識別技術研發(fā)以及相關產(chǎn)品落地不及預期2、報告中對各類模型的介紹與總結基于對于相關論文內(nèi)容的理解，具有一定主觀性3、報告中對于反AI生成的市場空間測算存在主觀判斷及口徑差異4、由AI安全需求帶來的市場競爭加劇5、板塊政策發(fā)生重大變化目錄C

O

N

T

E

N

T

S4Deepfakes演進與發(fā)展歷程生成式AI模型梳理以視覺為例：人臉偽造技術分類以視覺為例：生成式圖像檢測手段01020304Deepfakes技術發(fā)展趨勢展望AIGC監(jiān)管及反生成AI市場空間測算公司梳理風險提示05060708Deepfakes演進與發(fā)展歷程501Deepfakes6資料來源：AI前線公眾號、浙商證券研究所011）Deepfakes：基于深度學習的AI換臉技術Deepfakes定義可分為廣義和狹義兩個層次：廣義：Deepfakes指使用機器學習（ML）技術創(chuàng)建的偽造品，即利用了以生成對抗網(wǎng)絡技術（GAN）為主體的深度學習技術制造的看起來很真實但實際上屬于虛假的圖片或視頻。狹義：Deepfakes是“Deep

machine

learning”和

“fake”的組合詞，是一種基于深度學習的人物圖像合成技術。不同于一般意義上的p圖，Deepfakes利用電腦程序找到兩個面部之間的共同點，通過搭建神經(jīng)網(wǎng)絡來學習人臉，使替換以后的臉可以生動地模仿原來的表情，以假亂真。2）Deepfakes的產(chǎn)生與飛躍2014年是Deepfake的誕生元年，Goodfellow與同事發(fā)表的科學論文標志著GAN

AI的誕生，催生出我們?nèi)缃袼熘腄eepfakes。在2014年，就有跡象表明

GAN

有望生成仿真度極高的人臉。深度偽造技術開始進入大眾視野。在Deepfakes產(chǎn)生初期，生成代理往往傾向于產(chǎn)出分辨率較低而模糊不清的圖像是檢查代理難以判斷內(nèi)容的真?zhèn)危疃葌卧旒夹g一定階段內(nèi)存在著輸出內(nèi)容像素過低，生成結果難以令人信服的問題。2017年英偉達推動質(zhì)量飛躍，

利用分階段訓練網(wǎng)絡解決了生成代理產(chǎn)出分辨率過低的問題，GAN

開始產(chǎn)出質(zhì)量空前的偽造人像，深度偽造技術開始被推向市場主流。自此，Deepfakes一詞成為

AI

生成圖像和視頻的代名詞。2019年Deepfake正式成為市場主流，專注于Deepfakes的YouTUbe頻道擁有數(shù)百萬關注者，產(chǎn)出質(zhì)量遠高于其他AI模型。Deepfakes技術發(fā)展歷程7資料來源：AI前線公眾號、浙商證券研究所012014：Goodfellow與同事發(fā)表了全球首篇介紹GAN的科學論文，代表著GAN

AI的誕生，催生出如今為人熟知的

Deepfakes。2015：研究人員開始將

GAN

與經(jīng)過圖像識別優(yōu)化的多層卷積神經(jīng)網(wǎng)絡（CNN）相結合，這一組合取代了以往較為簡單的GAN

代理驅(qū)動網(wǎng)絡，提高了處理數(shù)據(jù)的速度和顯卡運行效率，也讓生成結果的可信度邁上新的臺階。2016：研究人員把兩個

GAN

結合起來，開展并行學習。2017：英偉達推動質(zhì)量飛躍，

GAN

開始產(chǎn)出質(zhì)量空前的偽造人像，深度偽造技術開始被推向市場主流。自此，Deepfakes一詞成為了

AI

生成圖像和視頻的代名詞。2018：英偉達提升

GAN

控制能力，使其能夠?qū)θ讼裰械摹昂诎l(fā)”和“微笑”等圖像單一特征作出調(diào)整，將訓練圖像中的特征有針對性地轉(zhuǎn)移到

AI

生成圖像當中。2019：三星公司的研究人員公布了一種能夠深度偽造人類和藝術品的

GAN，只需參考少數(shù)照片就能利用Deepfakes

AI達成出色的偽造效果；以色列研究人員又推出了換臉

GAN（FSGAN），能夠?qū)磿r視頻中的人臉進行實時交換。無需任何預先訓練。2020：微軟推出

FaceShifter，該軟件能夠利用模糊的原始圖片，依賴于分別負責偽造人臉和照片比對的兩套網(wǎng)絡，生成高度可信的

Deepfakes

圖像；深度偽造技術有望成為迪士尼電影制作開發(fā)的主流技術。2021：社交媒體中出現(xiàn)Deepfakes巡演、直播與人臉租賃活動，在市場上獲得極高熱度。2022：GAN的改進接連出現(xiàn)，包括能夠在短視頻片段中輕易操縱人臉的StyleGAN2變體和既能以高度匹配的

3D

形式生成統(tǒng)一圖像，也能利用一張真人圖像還原出

3D模型的3D

GAN，大力推動力AI深度偽造技術的發(fā)展。Deepfakes應用發(fā)展歷程0181）海外應用FaceShifter：2020年由北京大學和微軟亞洲研究院研究團隊聯(lián)合發(fā)表，是一種高保真、能夠感知遮擋的AI換臉工具，采用兩層框架結構實現(xiàn)高精度和遮擋條件下的換臉。其優(yōu)于以往同類技術，在生成逼真的人臉圖像方面表現(xiàn)優(yōu)異，被譽為機器學習圖像識別領域的“利矛”。Wombo

AI：2021年正式進入大眾視野，可以借助AI技術將聲音與圖片中的角色自動對上口型，使處于靜止圖片中的人物進行開口講話，并且還有會動的姿態(tài)表情，在社交媒體上大受歡迎。DeepFaceLive：由DeepFaceLab的締造者在

2021

年首次展示，能夠在經(jīng)過適當訓練、或者接收到預訓練

AI

模型之后，在實時視頻中交換人臉，意味著換臉的技術又再一次的突破。2）國內(nèi)應用Zao：于2019年首次公測，是中國國內(nèi)利用深度偽造技術制作的一個應用程序，用戶可以利用這個程序?qū)⒆约旱哪樚鎿Q成電影里某個角色的臉；用戶還可以在Zao里面大量的視頻和圖片庫中進行選擇，在上傳視頻后就可以在幾分鐘之內(nèi)生成深度偽造的角色。然而，從2019年9月1日，Zao就由于疑侵犯用戶肖像權而被用戶投訴，以及對用戶生物識別信息的采集存在的信息安全性問題帶來的安全風險而遭遇下架。FaceX-Ray：2020年由北京大學和微軟亞洲研究院研究團隊聯(lián)合發(fā)表，是一種針對偽造人臉圖像的通用檢測工具，不需要依賴于與特定人臉操作技術相關的偽影知識，并且支持它的算法可以在不使用任何方法生成假圖像的情況下進行訓練。這種工具能有效地識別出未被發(fā)現(xiàn)的假圖像，并能可靠地預測混合區(qū)域，在市場上獲得很高的評價，被譽為機器學習圖像識別領域的“堅盾”。資料來源：新智元公眾號、《FaceShifter:

Towards

High

Fidelity

AndOcclusion

AwareFaceSwapping》、《

Face

X-ray

for

More

General

Face

Forgery

Detection》、品牌觀察報公眾號、浙商證券研究所Deepfakes應用9資料來源：《深度偽造人臉視頻檢測技術綜述》、Faceswap官網(wǎng)、DeepFaceLab官網(wǎng)、DeepFaceLive官網(wǎng)、搜狐網(wǎng)、重蔚自留地、浙商證券研究所01表：國內(nèi)外deepfakes相關應用梳理名稱類別（開源與否）開發(fā)地區(qū)開發(fā)時間使用狀況FakeApp國外2018已下架Faceswap已開源國外2019未下架DeepFaceLab已開源國外2018未下架DeepFaceLive已開源國外2019未下架Faceswap-GAN國外2019未下架ZAO已開源國內(nèi)2019已下架DFaker國外2020未下架Deepface國外2015未下架FaceShifter國外2020未下架Wombo

AI國外2021未下架Avatarify已開源國外2020未下架生成式AI模型梳理1002生成式AI是深度學習的分支02生成式

AI

是深度學習的一個分支，可以根據(jù)已經(jīng)學習的內(nèi)容生成新的內(nèi)容。生成式AI的訓練和推理階段：訓練：從現(xiàn)有的內(nèi)容中學習的過程，訓練的結果是創(chuàng)建一個統(tǒng)計模型。推理：當用戶給出提示詞，生成式

AI

將會使用統(tǒng)計模型去預測答案，生成新的文本來回答問題。圖：生成式AI發(fā)展歷程圖：生成式AI是深度學習的一個分支在GPT-3.5的基礎上推出ChatGPT讓生成式AI火爆全球201320192022201411資料來源：OpenAI網(wǎng)站、《Auto-Encoding

Variational

Bayes》、《Generative

Adversarial

Networks》、《Denoising

Diffusion

Probabilistic

Models》、浙商證券研究所2020變分自編碼器（VAE）被提出，生成式AI誕生生成式預訓練模型（GenerativePre-trained

Models）開始興起，如OpenAI的GPT-2模型生成式對抗網(wǎng)絡（GAN）被提出擴散模型（Diffusion

Model）被廣泛應用于生成式AI領域判別模型

vs

生成模型02判別模型（Discriminative

Model）和生成模型（Generative

Model）是機器學習中兩種不同類型的模型，它們的主要區(qū)別在于其對數(shù)據(jù)的建模方式和應用領域。圖：判別模型框架圖：生成模型框架表：判別模型與生成模型對比判別模型生成模型建模對象直接對條件概率進行建模對聯(lián)合概率分布進行建模學習內(nèi)容輸入和輸出之間的關系數(shù)據(jù)的分布和特征之間的關系，以及生成輸入數(shù)據(jù)的過程任務類別分類、回歸和標注等任務，通過最大化或最小化某種損失函數(shù)來尋找最優(yōu)的參數(shù)配置，以實現(xiàn)準確的預測和分類生成新的圖像、語言模型和數(shù)據(jù)增強等任務特點直接學習輸入特征和輸出標簽之間的關系，具有較低的計算復雜度，并且適用于特定任務能夠模擬數(shù)據(jù)的生成過程，生成新的樣本數(shù)據(jù)，并且有助于理解數(shù)據(jù)的統(tǒng)計特性和生成機制常見模型邏輯回歸、支持向量機、深度神經(jīng)網(wǎng)絡高斯混合模型（GMM）、生成對抗網(wǎng)絡（GAN）數(shù)據(jù)標簽判別模型學習數(shù)據(jù)和標簽的關系，最大化條件概率似然函數(shù)輸出標簽輸入生成模型學習非結構化內(nèi)容中的模式輸出全新信息12資料來源：谷歌云、《Deriving

discriminative

classifiers

from

generative

models》、CSDN、浙商證券研究所生成式模型分類02根據(jù)生成內(nèi)容的類別，生成式AI模型可進一步被分為生成式語言模型和生成式圖片模型：生成式語言模型：基于自然語言處理的技術，通過學習語言規(guī)律和模式生成新的文本。通過訓練大規(guī)模文本數(shù)據(jù)，如新聞、小說、網(wǎng)頁內(nèi)容等，生成式語言模型可以自動生成邏輯和語法正確的文本，如文章、對話、詩歌等，被廣泛應用于機器翻譯、文本摘要、對話生成、故事生成等任務。生成式圖片模型：基于計算機視覺的技術，通過學習圖像的特征和結構生成新的圖像。通過訓練大規(guī)模的圖像數(shù)據(jù)集，學習圖像的特征表示和統(tǒng)計規(guī)律，生成式圖片模型可以生成具有視覺真實感或藝術風格的圖像，如自然風景、人像或抽象藝術作品。被應用于圖像生成、圖像標注、圖像編輯等領域。隨著多模態(tài)模型的應用逐步深入，生成式模型也開始向多模態(tài)方向發(fā)展：輸入內(nèi)容為文本：輸出內(nèi)容可以為文本、圖片、音頻、決策等內(nèi)容輸入內(nèi)容為圖片：輸出內(nèi)容可以為文本、圖片和視頻等內(nèi)容。圖：輸入為文本時生成式模型的輸出可選項13資料來源：谷歌云、浙商證券研究所圖：輸入為圖片時生成式模型的輸出可選項主流生成式AI模型概覽0214資料來源：相關領域已發(fā)表學術論文（論文名稱參考報告末尾附錄頁）、浙商證券研究所潛變量模型2013 2014 2015 2016 2017 2018 2019 2020 2021 2022生成對抗網(wǎng)絡（GAN）GAN-INT-CLS StackGAN StackGAN++ StyleGAN GLIP-VQGAN ViT-VQGAN StyleGAN3 CLIP+StyleGANPixel-to- ProGAN ViTGANPixel條件生成模型（CGAN） CycleGAN變分自動編碼器(VAE）條件生成模型

AlignDRACVAE W模型 CLIP+VQVAEDALL-EDiffusion擴散模型DDPM Improved Disco

DiffusionDDPMDDIM DPM-solver DPM-solver++DALL-E2Stable

Diffusion基于流的模型RealNVPRealNVP++GlowGlow-360Glow-TTSFFJORDFFJORD-GAN注釋：部分模型可能同時涉及多項模型的框架，我們以其中主要或最新參考的模型作為劃分依據(jù)VAE——變分自動編碼器0215變分自動編碼器（

Variational

Autoencoder，VAE）

是一種生成模型，

結合了自動編碼器（

Autoencoder）

和變分推斷（Variational

Inference）的思想，于2013年由Kingma和Welling提出。其目標是學習數(shù)據(jù)的潛在表示，并能夠生成新的樣本。VAE結合自動編碼器和變分推斷的思想，通過學習數(shù)據(jù)的潛在表示和生成新樣本。它假設潛在變量服從先驗分布，編碼器將輸入映射為均值和方差參數(shù)，通過重參數(shù)化技巧采樣潛在變量。解碼器接收采樣的潛在變量解碼為樣本，通過最大化邊際似然和KL散度來訓練VAE，學習數(shù)據(jù)的潛在分布并生成新樣本。優(yōu)點缺點概率建模VAE用變分推斷建模潛在變量分布，最大化邊際似然訓練模型，提供概率建模和不確定性估計?？煽厣蒝AE潛在空間連續(xù)，操作潛在變量控制生成樣本屬性。訓練困難VAE的訓練需要平衡重構誤差和KL散度的損失，調(diào)整超參數(shù)和監(jiān)控訓練過程相對復雜。離散數(shù)據(jù)處理VAE基于連續(xù)分布假設，對于離散數(shù)據(jù)處理可能有困難，需要適當修改或使用離散分布的變分推斷方法。圖：VAE模型流程圖資料來源：《Auto-Encoding

Variational

Bayes》、谷歌云、浙商證券研究所GAN——生成式對抗網(wǎng)絡0216生成式對抗網(wǎng)絡（GAN）由Goodfellow等人于2014年提出，采用對抗訓練策略，通過對抗訓練的方式改變了生成模型的思路。GAN包括生成器和判別器兩個對抗的模型，生成器試圖生成逼真樣本，判別器試圖區(qū)分生成和真實樣本。通過對抗過程，生成器逐漸提高樣本質(zhì)量，判別器提高鑒別能力。GAN通過讓生成器和判別器相互博弈，逐漸達到動態(tài)平衡，使生成器學習真實樣本的分布。優(yōu)點缺點學習潛在表示GAN的生成器學習數(shù)據(jù)的潛在表示，

有助于特征學習和數(shù)據(jù)降維，

提供可解釋和可操作的潛在空間。高質(zhì)量樣本生成GAN生成逼真的圖像、音頻、文本等樣本，質(zhì)量和多樣性較傳統(tǒng)生成模型更好。模式崩潰和塌陷生成器可能只能生成少數(shù)幾種模式，缺乏多樣性和創(chuàng)造性。難以評估生成質(zhì)量缺乏明確的似然函數(shù)，生成質(zhì)量難以定量評估，

需要人工觀察和主觀評價。圖：GAN模型流程圖資料來源：《Generative

Adversarial

Networks》、浙商證券研究所Diffusion——擴散模型02Diffusion是一種用于建模數(shù)據(jù)分布的生成模型，通過迭代模擬數(shù)據(jù)在潛在空間中的擴散過程，使得樣本在潛在空間中逐漸接近真實數(shù)據(jù)分布，從而由初始噪聲樣本逐步生成高質(zhì)量樣本。Diffusion模型通過動力學系統(tǒng)學習數(shù)據(jù)的結構和生成機制，克服了傳統(tǒng)生成模型的限制，適用于復雜高維數(shù)據(jù)。它在圖像生成、數(shù)據(jù)插值等任務中表現(xiàn)出優(yōu)異性能，為生成模型提供了一種新的建模方式。優(yōu)點缺點逼近復雜分布擴散模型有效建模復雜高維數(shù)據(jù)分布，

捕捉非線性關系和復雜結構。無需顯式似然函數(shù)不需要定義似然函數(shù)，通過擴散逼近真實數(shù)據(jù)分布，

處理復雜數(shù)據(jù)和高維度更有效。計算復雜度高訓練和推斷過程需要大量計算資源和時間，對大規(guī)模高維數(shù)據(jù)集要求較高超參數(shù)敏感性性能和質(zhì)量受超參數(shù)選擇影響，不當選擇可能導致不穩(wěn)定或下降。圖：擴散模型流程圖17資料來源：《Diffusion

Models:

A

Comprehensive

Survey

of

Methods

and

Applications》、谷歌云、浙商證券研究所以視覺為例：18人臉偽造技術分類03人臉偽造技術分類梳理0319人臉偽造技術有目標可視身份偽造無目標可視身份偽造人臉編輯Faceswap人臉替換DeepFaceLab

人臉屬性編輯 人臉表情重演Pix2PixCycleGAN跨模態(tài)人臉編輯Face2FaceSpeech2FaceBigGANStyleGANStyleGAN2DCGANSNGAN有目標身份偽造方法通常在視頻或圖像偽造過程中,

將偽造目標的身份或性信息輸入到模型中,

實現(xiàn)特定目標身份的視頻或圖像偽造。該偽造形式可能被用于進行特定身份的偽裝與假冒。無目標身份偽造方法通常以隨機變量作為輸入信息,

生成現(xiàn)實世界中不存在的虛假人臉圖像,

生成過程中沒有特定的偽造目標身份。資料來源：《可視身份深度偽造與檢測》、浙商證券研究所人臉偽造技術分類梳理03201）有目標可視身份偽造DeepFaceLab：主要用于視頻換臉，使用者將兩張不同的照片導入模型實現(xiàn)臉部的交換。DeepFaceLab提供力從數(shù)據(jù)收集和篩選，到模型訓練和最終視頻輸出的一站式解決方案，屬于有目標可視身份偽造類別的人臉替換系列。DeepFaceLab擁有面部更換、面部老化、頭部更換、操縱嘴部等功能，可用于短視頻平臺的娛樂項目以及電影的后期制作等。DeepFaceLab沒有收費或捐贈機制，任何人都可以在GitHub上下載和使用。Facelet-Bank：騰訊優(yōu)圖團隊提出的一種通用且靈活的高質(zhì)量人臉屬性編輯網(wǎng)絡，進而與香港中文大學、Adobe

研究院、字節(jié)跳動人工智能實驗室合作提出一種基于語義部件分解的人臉屬性編輯方法。Facelet-Bank可以快速處理各種表情、配飾和化妝效果，并產(chǎn)生高分辨率和高質(zhì)量的圖像。Facelet-Bank可以用于視頻網(wǎng)站的快速人像操作。圖：DeepFaceLab圖：Facelet-Bank資料來源：DeepFaceLab官網(wǎng)、《Facelet-Bankfor

Fast

Portrait

Manipulation》、浙商證券研究所人臉偽造技術分類梳理03212）無目標可視身份偽造icons8：icons8是一個提供高質(zhì)量免費圖標和設計工具的網(wǎng)站，網(wǎng)站創(chuàng)始人Ivan

Braun等利用StyleGAN模型生成大量偽造人臉圖像并按照性別、年齡、種族、頭發(fā)顏色、表情等屬性分類在網(wǎng)站上進行展示，現(xiàn)有客戶包含大學、約會軟件和人力資源規(guī)劃公司。icons8（FaceSwapper）可以在3天內(nèi)免費試用，付費內(nèi)容包括優(yōu)先處理、電子郵件支持和

60

天存儲空間?！癟his

Person

Does

Not

Exist”（此人不存在）：一個生成虛擬人物頭像的網(wǎng)站，由StyleGAN提供支持，以1024x1024像素的分辨率生成不存在的人的照片。網(wǎng)站使用人工智能技術生成照片，可自定義生成人臉的性別、年齡、以及種族，每次刷新頁面都會生成一個全新、獨特的虛擬人物頭像。該網(wǎng)站旨在展示人工智能技術的能力，并提供免費的虛擬人物頭像給用戶使用。圖：“This

Person

DoesNotExist”網(wǎng)站圖：icons8人工智能產(chǎn)品資料來源：icons8網(wǎng)站、“This

PersonDoes

NotExist”網(wǎng)站、浙商證券研究所人臉偽造技術應用22資料來源：《認知的羅生門效應制造：深度偽造在俄烏沖突中的案例分析》、浙商證券研究所03有目標可視身份偽造在俄烏沖突中已有所應用：對烏克蘭最高領導人澤連斯基的虛假模擬2022年3月15日，烏克蘭廣播新聞媒體Ukraine

24遭到黑客攻擊。黑客通過文字滾動新聞在電視直播中發(fā)送了有關澤連斯基的虛假消息，并在其網(wǎng)站上發(fā)布了澤連斯基呼吁士兵“放下武器投降”的深度偽造視頻，該視頻隨即在Twitter等社交媒體上廣為傳播。對澤連斯基的深度偽造視頻屬于有目標可視身份偽造中的人臉編輯類，偽造視頻中存在畫質(zhì)不清晰、場景單一

、人物面部與頸部的膚色存在差異、人物頭肩比不協(xié)調(diào)、人物上半身無肢體動作、眼神始終注視鏡頭等問題。網(wǎng)絡攻擊者利用Pix

2

Pix、Face2Face和Speech2Face等算法技術，以宣布停戰(zhàn)為博弈主題，試圖達到影響對方國家的目的。對俄羅斯最高領導人普京的虛假模擬2022年3月16日，Twitter

用戶

@Serhii

Sternenko

發(fā)布了“普京宣布停戰(zhàn)”的深度偽造視頻。對普京的深度偽造視頻同樣屬于有目標可視身份偽造中的人臉編輯類，但深度偽造普京的視頻制作更為精良，通過多景別切換、人物動作、微表情等方法使得視頻仿真性更高，迷惑性更強。以視覺為例：23生成式圖像檢測手段04檢測方向一：檢測圖片是否由生成式AI模型生成04

24

檢測GAN模型生成的圖像：GAN圖檢測通常使用預先訓練好的GAN模型來生成假圖像，并將這些假圖像與真實圖像混合在一起形成一個混合的數(shù)據(jù)集。然后，將該數(shù)據(jù)集送入分類器中進行訓練，以區(qū)分真實圖像和虛假圖像。分類器通常采用卷積神經(jīng)網(wǎng)絡（CNN）進行訓練，并基于圖像的梯度、頻率特征等進行判斷，從而有效檢測出虛假圖像。圖：GAN圖檢測流程待檢測圖像1.特征提取使用計算機視覺技術從待檢測的圖像中提取特征，如顏色分布、紋理特征、局部結構等GAN圖檢測程序輸入輸出2.特征分析對提取的特征進行分析，例如統(tǒng)計特征、頻譜特征、局部一致性等，以揭示GAN生成圖像的獨特特征3.特征比較將待檢測圖像的特征與真實圖像和GAN生成圖像的特征進行比較，可以使用相似性度量或分類器進行判斷是或否GAN圖檢測方法二分類方法GAN生成的圖像通常具有一些特殊的視覺特征，如顏色塊、紋理不自然、邊緣不清晰等?？梢允褂蒙疃葘W習模型來訓練一個分類器，將GAN生成的圖像和真實圖像分別作為正例

和反例，然后使用測試數(shù)據(jù)集來測試分類器的準確率和性能。頻率特征方法GAN生成的圖像通常具有一些頻率特征，如頻率分布不均勻、頻率分布不連續(xù)等?？梢允褂每焖俑道锶~變換（FFT）來計算圖像的頻率譜，然后使用一些統(tǒng)計方法來分析頻率特征，如能量分布、頻率分布、頻率分布差異等。梯度特征方法GAN生成的圖像通常具有一些梯度特征，如梯度分布不均勻、梯度變化不連續(xù)等?？梢允褂肧obel算子、Laplacian算子等邊緣檢測算法來計算圖像的梯度，然后使用一些統(tǒng)計方法來分析梯度特征，如梯度分布、梯度變化、梯度方向分布等。資料來源：基于《GAN-generated

Faces

Detection:

A

Survey

and

New

Perspectives》，Xin

Wang等著的論文整理、浙商證券研究所檢測方向一：檢測圖片是否由生成式AI模型生成0425檢測Diffusion模型生成的圖像：生成式AI模型通常具有一些獨特的統(tǒng)計特征，例如紋理、顏色分布、物體形狀等，DM圖在某些統(tǒng)計特征上可能與自然圖像有所不同，這可以用于區(qū)分它們，通過分析圖像的統(tǒng)計特征并與已知的視頻一致性檢測?，F(xiàn)有模型在DM圖上的泛化性能仍然有限，并且DM圖的識別比GAN圖更具挑戰(zhàn)性。雖然已經(jīng)有一些研究成果和原型系統(tǒng)，但目前仍然沒有一個普適性和完全可靠的DM圖檢測方法：直接將GAN上的模型用于DM圖的檢測效果較差，但可經(jīng)過微調(diào)后恢復一定性能；二次處理（如壓縮）會使生成圖更難以判斷；DM圖可以被擴散模型重建，而真實圖片不行。通過計算重建圖像與原圖之間的擴散重建差（DIRE）作為特征進行二分類訓練，可以提高判斷的泛化性能。圖：理論上DM的檢測流程資料來源：基于《On

thedetection

ofsynthetic

imagesgenerated

bydiffusion

models》，Riccardo

Corvi等著的論文整理、浙商證券研究所檢測方向一：檢測圖片是否由生成式AI模型生成0426方法多樣性挑戰(zhàn)改進方向模型差異不同的方法采用不同的模型來提取真實圖和生成圖的特征，這導致了性能上的差異。特征差異不同方法使用不同的特征進行訓練，包括純視覺信息（如偽影、混合邊界、全局紋理一致性）、圖像頻率信息以及重建圖與待檢測圖的差異等。數(shù)據(jù)差異一些方法通過對抗手段生成更具挑戰(zhàn)性的圖片，以增強模型的識別能力。泛化性差跨模型檢測的泛化性較差。當訓練集中的生成圖由特定的生成器產(chǎn)生時，檢測器在對同一生成器生成的圖片進行檢測時表現(xiàn)良好，但對于新的生成器生成的圖片檢測性能會較差。提升泛化性能研究者可以探索提升跨模型檢測的泛化性能的方法，使得檢測器對于任何生成器生成的圖片都能有效。結合多種特征可以考慮結合不同方法使用的特征，構建更綜合的特征表示，從而提高判斷的準確性和泛化性。數(shù)據(jù)多樣性通過使用更多不同生成器生成的數(shù)據(jù)來訓練檢測器，以增強其對新生成器的適應能力模型

Ensemble生成模型可能采用多個子模型的Ensemble

方法生成圖片,

這會增加檢測難度。檢測模型需要考慮不同子模型的特征,而不僅僅是單一模型的特征。針對性生成惡意的生成模型可能專門生成那些難以檢測的圖片,以躲避檢測。這需要檢測模型有足夠的泛化能力,不易被針對性生成的樣本欺騙。資料來源：基于《Detecting

GAN

generated

Fake

Images

using

Co-occurrence

Matrices》，Lakshmanan

Nataraj等著的論文整理、浙商證券研究所檢測方向二：偽造人臉檢測0427能夠檢測GAN模型生成的人臉圖像的方法分為四類基于深度學習的方法是最常用的方法之一，它使用卷積神經(jīng)網(wǎng)絡（CNN）來提取特征并進行分類。盡管這些方法在準確性方面表現(xiàn)出色，但它們的圖片識別（分類）可解釋性相對較差。即使當人類無法察覺到圖像的細微差別時，深度學習模型可以識別出來，但無法提供解釋判斷的原因，這使得解釋結果變得困難?；谖锢淼姆椒ㄍㄟ^尋找人工信息或面部與物理世界之間的不一致來檢測GAN生成的人臉圖像。例如，透視中的照明和反射等物理特征可以用于識別GAN生成的人臉。這些方法不需要大量標記數(shù)據(jù)，但在準確性方面可能會受到噪聲和其他因素的影響?；谏淼姆椒ㄊ褂蒙硖卣鱽頇z測GAN生成的人臉圖像。這些生理特征包括對稱性、虹膜顏色、瞳孔形狀等線索。通過研究這些生理特征，可以識別出GAN生成的人臉。與基于物理的方法類似，基于生理的方法也不需要大量標記數(shù)據(jù)，但可能會受到個體差異和其他因素的影響。評估和比較人類視覺性能的方法使用人類參與者來評估GAN生成的人臉圖像是否真實。這些方法可以提供有關GAN生成圖像質(zhì)量和真實性的有用信息。然而，這些方法并不直接用于檢測GAN生成的人臉，而是用于評估和比較人類和AI的視覺性能。資料來源：《GAN-generated

Faces

Detection:

ASurveyand

New

Perspectives》，XinWang等、浙商證券研究所圖：GAN

人臉生成和檢測工作的簡要年表檢測方向二：偽造人臉檢測0428利用生成人臉仍不夠逼真的漏洞基于DS

的假視頻檢測：從

1

秒視聽片段中提取的特征輸入到MDS網(wǎng)絡（包括音頻和視覺子網(wǎng)絡）。視頻和音頻子網(wǎng)絡學習的描述符通過交叉熵損失進行調(diào)整，而對比損失用于增強音頻之間的更高差異性

-

假視頻產(chǎn)生的視覺塊。

MDS

被計算為視頻長度上的聚合視聽不和諧，并用作將視頻標記為真/假的品質(zhì)因數(shù)。資料來源：《Not

made

for

eachother-

Audio-Visual

Dissonance-basedDeepfake

Detectionand

Localization》，Komal

Chugh等、浙商證券研究所圖：基于DS的假視頻檢測流程圖檢測方向二：偽造人臉檢測0429利用生成人臉仍不夠逼真的漏洞人臉偽造檢測微調(diào)階段：網(wǎng)絡的輸入包含

25

個灰度、對齊的唇部（我們僅顯示四個用于說明目的）。它們通過凍結特征提取器（具有初始

3-D

卷積層的

ResNet-18），該特征提取器已經(jīng)過唇讀預訓練，因此輸出對嘴部運動敏感的嵌入。一個多尺度時間卷積網(wǎng)絡

(MS-TCN)，也在唇讀上進行了預訓練，被微調(diào)以檢測基于嘴部運動中語義高級不規(guī)則性的假視頻。資料來源：《Lips

Don't

Lie:

A

Generalisable

and

Robust

Approach

to

Face

Forgery

Detection》，Alexandros

Haliassos等、浙商證券研究所圖：基于唇部的偽造人臉檢測流程圖檢測方向二：偽造人臉檢測0430利用模型自身的能力N

和

C

表示圖像和通道的數(shù)量。在偽影檢測模塊的幫助下，

ID-unawareDeepfake檢測模型旨在關注圖像的局部表示以指示人臉偽造。資料來源：《Implicit

Identity

Leakage:

The

Stumbling

Block

to

Improving

DeepfakeDetection

Generalization》，Zheng

Ge等、浙商證券研究所圖：ID-unaware

Deepfake檢測模型的整體框架圖：多尺度面部交換

(MFS)

概述MFS以全局交換和部分交換兩種方式對配對的假圖像和源圖像進行操作，以生成具有工件區(qū)域真實值的新假圖像。檢測方向二：偽造人臉檢測04合成器網(wǎng)絡（即生成器）輸出三個偽造配置，進一步用于合成新的偽造，這些偽造配置也用作標簽來指導檢測器網(wǎng)絡（即鑒別器），以對抗的方式訓練生成器和鑒別器。圖：對抗樣本的自監(jiān)督學習模型概述圖利用模型自身的能力對抗訓練框架由合成器G、圖片合成和判別器

D

組成，其中：合成器：生成配置參數(shù)，用來合成更豐富的自監(jiān)督樣本數(shù)據(jù)（注意是生成配置的參數(shù)）原生假圖：不處理，即不進入合成器，直接用來訓判別器；原生真圖：不增廣的真圖不進入合成器，直接訓判別器；合成假圖：有一定概率與一個隨機圖（Reference）進行增廣，形成局部虛假的假圖；圖片合成：合成器G會生成配置方案（區(qū)域選擇10個；混合blending類型選擇；以及合成比例選擇ratio），基于此進行合成（即數(shù)據(jù)增廣）判別器G：對圖片進行分類，同時添加輔助任務，用合成器的G的輸出作為label31資料來源：《Self-supervised

Learning

of

Adversarial

Example:

Towards

Good

Generalizations

for

Deepfake

Detection》，Jue

Wang等、浙商證券研究所Deepfakes技術發(fā)展趨勢展望3205生成式AI技術的迭代增加偽造圖片的真實度0533模型精度性能隨訓練集規(guī)模增大提升各類生成式模型的優(yōu)缺點1、數(shù)據(jù)：可供訓練的數(shù)據(jù)集規(guī)模擴大，帶來模型效果的大幅提升2009年發(fā)布的ImageNet數(shù)據(jù)集有1400多萬幅圖片，涵蓋2萬多個類別，其中有超過百萬的圖片有明確的類別標注和圖像中物體位置的標注；而2022年3月開放的LAION-5B數(shù)據(jù)集包含58.5億個圖片-文本對，訓練數(shù)據(jù)集規(guī)模的擴大可提升模型精度。2、算法：算法框架的迭代與組合，使得模型訓練更加高效、穩(wěn)定VAE模型由于在訓練過程中調(diào)整參數(shù)只能得到平均的結果，所以生成圖片較為模糊；GAN模型通過生成器和判別器相互對抗，可以生成高分變率的圖像，但由于需要同時訓練生成器和判別器兩個模型，訓練難度大、不穩(wěn)定，結果不容易收斂；Diffusion模型在上述兩個模型的基礎上，在圖片質(zhì)量和模型訓練難度上取得了較好的效果，在其基礎上進一步迭代的Stable

Diffusion又進一步解決了傳統(tǒng)Diffusion模型的采樣速度慢的缺點。3、算力：算力水平的提升，助力更加高效的復雜模型訓練算力水平的提升使得訓練更大規(guī)模參數(shù)的模型成為可能，且可通過多張高算力芯片的組合，實現(xiàn)訓練效率的提升。以ChatGPT為例，用單個Tesla架構的V100訓練包含1746億參數(shù)的GPT3.0需要288年的時間，而用1024張A100GPU上預估需要34天，而多臺的H100甚至可以將GPT的模型訓練時間縮短到幾天。資料來源：ImageNet網(wǎng)站、無界AI公眾號、腦智新語公眾號、碼上躍見公眾號、九慕資產(chǎn)管理公眾號、浙商證券研究所AIGC的識別難度增大，潛在風險提升0534資料來源：浙商證券研究所總結整理AIGC監(jiān)管及反生成AI市場空間測算3506生成式AI監(jiān)管政策梳理06國內(nèi)2019.11

網(wǎng)信辦、文旅部、廣電總局《網(wǎng)絡音視頻信息服務管理規(guī)定》：“不得利用基于深度學習、虛擬現(xiàn)實等新技術新應用制作、發(fā)布、傳播虛假新聞信息?！?019.12

網(wǎng)信辦《網(wǎng)絡信息內(nèi)容生態(tài)治理規(guī)定》明確網(wǎng)絡信息內(nèi)容服務使用者和生產(chǎn)者、平臺不得開展包括深度偽造在內(nèi)的違法活動。2022.01

網(wǎng)信辦、工信部、公安部、市場監(jiān)督管理總局《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》將生成合成類算法列入收到監(jiān)管的五大類應用算法推薦技術之一，并要求對AI生成圖片、視頻進行標識。2022.11

網(wǎng)信辦、工信部、公安部《互聯(lián)網(wǎng)信息服務深度合成管理規(guī)定》明確強化深度合成服務提供者和技術支持者的主體責任，并建立健全的辟謠、舉報機制。2023.04

網(wǎng)信辦《生成式人工智能服務管理辦法（征求意見稿）》強化AI生成內(nèi)容治理、優(yōu)化技術監(jiān)管、強化個人權利保障。國外2018.05

歐盟《通用數(shù)據(jù)保護條例》將包括可能被用于制作深度偽造內(nèi)容的公民圖片等個人數(shù)據(jù)置于現(xiàn)行歐盟法律保護之下。2018.09

歐盟《反虛假信息行為準則》加強互聯(lián)網(wǎng)企業(yè)對平臺內(nèi)容的審查，提高對包括深度偽造等音視頻文件的管控。2018.12

美國國會《惡意偽造禁令法案》：對制作深偽引發(fā)犯罪和侵權的個人、明知內(nèi)容的深偽性質(zhì)仍進行分發(fā)的社媒平臺處以罰款和監(jiān)禁。2019.06

美國國會《深度偽造責任法案》：制作深偽媒體內(nèi)容的作者必須用“不可刪除的數(shù)字水印以及文本描述“標明該內(nèi)容經(jīng)過篡改或生成。2020.05

澳大利亞戰(zhàn)略政策研究所《深度偽造技術武器化》詳細介紹了七個常見的深度造假工具：換臉、重新投射、口型同步、動作傳遞、圖像生成、音頻生成、文字生成。2020.08

美國會研究服務處《深度偽造與國家安全》、《人工智能與國家安全》提示深度偽造已成為對手信息戰(zhàn)的一部分。2023.03

意大利個人數(shù)據(jù)保護局宣布禁止使用ChatGPT，限制OpenAI處理意大利用戶信息，并針對隱私安全問題立案調(diào)查。2023.06

歐洲議會通過了關于《人工智能法案》的談判授權草案，針對生成式AI設立專門監(jiān)管制度，并要求AI公司對其算法保持人為控制，提供技術文件，并為“高風險”應用建立風險36管理系統(tǒng)。資料來源：網(wǎng)信辦、歐盟官網(wǎng)、信通院互聯(lián)網(wǎng)法律研究中心公眾號、信息安全與通信保密雜志社公眾號、財聯(lián)社公眾號、新華網(wǎng)、每經(jīng)網(wǎng)反AI生成市場空間測算0637監(jiān)管側(cè)市場潛在需求場景：司法鑒定與鑒別場景潛在需求方：公檢法司公安局：3500檢察院：3588法院：3508售價假設：42萬/套（對標美亞柏科電子取證產(chǎn)品）空間測算：42萬/套×（3500公安局+3588檢察院+3508法院）=

44億元企業(yè)市場潛在需求場景：AI偽造圖片/音頻識別潛在需求方：企業(yè)及個人用戶互聯(lián)網(wǎng)用戶數(shù)量（截至2022年6月）：10.5億售價假設：325元/月（每天4萬次調(diào)用請求）（對標海外產(chǎn)品售價）空間測算（純軟件部分）：3900元/年×10.5億互聯(lián)網(wǎng)用戶×

20次調(diào)用/天*365÷1460萬次調(diào)用/年=

20億元表：監(jiān)管側(cè)市場規(guī)模敏感性分析（單位：億元）單套設備售價（萬元）202530354042506070%14.8318.5422.2525.9629.6731.1537.08 44.5080%16.9521.1925.4329.6733.9035.6042.38 50.86滲透率90%100%19.0723.8428.6133.3738.1440.0547.68 57.2121.1926.4931.7937.0842.3844.5052.98 63.57110%23.3129.1434.9640.7946.6248.9558.27 69.93120%25.4331.7938.1444.5050.8653.4063.57 76.296510313019526032539051.021.622.053.074.105.126.14平均每人每天調(diào)用次數(shù)（次）1015202.053.074.103.244.856.474.106.148.196.149.2112.298.1912.2916.3810.2415.3620.4812.2918.4324.57306.149.7112.2918.4324.5730.7136.865010.2416.1820.4830.7140.9551.1961.43表：企業(yè)側(cè)市場規(guī)模敏感性分析（單位：億元）每月訂閱價格（元/月）說明：由于官方未披露最新公檢法司數(shù)量情況，我們參考最高法司法案例研究院2017年披露的數(shù)據(jù)進行估算說明：基本假設為每個機構需要采購一臺設備，則在100%滲透率的情況下，每個監(jiān)管機構均需采購一臺設備；若部分機構未采購設備，則對應滲透率低于100%；若部分機構采購超過1臺設備，則對應的滲透率超過100%資料來源：

采招網(wǎng)、最高人民法院司法案例研究院公眾號、illuminarty網(wǎng)站、AI

Voice

Detector網(wǎng)站、人民網(wǎng)公眾號、浙商證券研究所公司梳理3807美亞柏科07美亞柏科是國內(nèi)領先的電子數(shù)據(jù)取證行業(yè)龍頭和公安大數(shù)據(jù)領先企業(yè)、網(wǎng)絡空間安全和社會治理領域國家隊，持續(xù)深耕“大數(shù)據(jù)智能化”與“網(wǎng)絡空間安全”兩個主要賽道；公司于2017年成立AI研發(fā)中心，深度開展人工智能技術研究，并于2019年針對深度合成技術成立專項研究團隊，現(xiàn)已具備自主研發(fā)深度偽造視頻圖像鑒定的核心引擎的能力；2023年3月20日，公司作為編寫單位，參與編制國內(nèi)首個生成式人工智能標準體系。公司自主研發(fā)的AI-3300“慧眼”視頻圖像鑒真工作站具備智能鑒定和專業(yè)鑒定兩種模式，涵蓋40余種視頻圖像真?zhèn)舞b定算法、近10種深偽鑒定算法，能夠全方位多視角地識別利用深度偽造手段進行的換臉、美顏、生成人臉、同圖或異圖復制篡改的影像，識別效果處于國際領先水平，能夠為公安、司法行業(yè)及相關領域提供一站式影像真?zhèn)螜z測鑒定解決方案。圖：美亞柏科主營業(yè)務圖：AI-3300“慧眼”視頻圖像鑒真工作站39資料來源：美亞柏科官網(wǎng)、浙商證券研究所東方通07東方通作為國內(nèi)領先的大安全及行業(yè)信息化解決方案提供商，持續(xù)深耕網(wǎng)絡信息安全領域，其產(chǎn)品服務覆蓋至政務、金融、企事業(yè)單位等多個行業(yè)，面對新一輪的AIGC識別產(chǎn)品的市場競爭，公司在技術轉(zhuǎn)化落地方面具有深厚的實戰(zhàn)經(jīng)驗優(yōu)勢；公司于2023年3月正式立項課題《AIGC算法安全性檢測方法研究》，率先展開針對ChatGPT等AIGC算法的安全性評估測試方法和工具開發(fā)。公司現(xiàn)有“深度合成內(nèi)容監(jiān)測”產(chǎn)品，采用軟硬件協(xié)同的解決方案，具備對常見AIGC算法生成的圖片、音視頻內(nèi)容的檢測能力，支持深偽檢測、特定人物偽造檢測、偽造溯源等，并已通過部分客戶實現(xiàn)應用；其中音頻類檢測準確率可達特定人86%、非特定人76%；同時，公司將推出TongGPT多模態(tài)智能交互模型，預計年底前實現(xiàn)針對AI生成語音詐騙的自動化提醒功能。圖：東方通AIGC解決方案40資料來源：東方通官網(wǎng)、浙商證券研究所圖：東方通網(wǎng)絡深度合成內(nèi)容監(jiān)測系統(tǒng)的產(chǎn)品優(yōu)勢瑞萊智慧07瑞萊智慧（RealAI）作為人工智能基礎設施和解決方案提供商，于2018年依托清華大學人工智能研究院發(fā)起成立，致力于以第三代人工智能技術為高價值場景智能化升級提供一站式賦能方案；公司為政務、金融、能源、制造、互聯(lián)網(wǎng)等領域合作伙伴提供包括人臉識別系統(tǒng)安全、深度合成和偽造檢測等產(chǎn)品和解決方案，具備深厚的技術和實踐經(jīng)驗積累。公司推出的基于第三代人工智能技術（知識+數(shù)據(jù)驅(qū)動；安全、可靠、可信）的深度偽造檢測平臺DeepReal，通過辨識偽造內(nèi)容和真實內(nèi)容的表征差異性、挖掘不同生成途徑的深度偽造內(nèi)容一致性特征，能夠快速、精準地對圖像、視頻、音頻內(nèi)容進行真?zhèn)舞b別，在第三屆中國人工智能大賽中斬獲深度偽造視頻檢測A級證書；同時，DeepReal在學術數(shù)據(jù)集與主流網(wǎng)絡數(shù)據(jù)集檢測準確率達99%、在產(chǎn)業(yè)實踐檢測準確率達業(yè)內(nèi)較高水平。圖：瑞萊智慧在第三屆中國人工智能大賽中斬獲的獎項圖：瑞萊智慧DeepReal產(chǎn)品架構圖41資料來源：瑞萊智慧RealAI官網(wǎng)、中國人工智能大賽官網(wǎng)、浙商證券研究所中科睿鑒07中科睿鑒成立于2020年3月，核心團隊源于中科院計算技術研究所，致力于運用AI技術賦能數(shù)字內(nèi)容安全，深耕虛假信息識別、深度合成內(nèi)容檢測、深度偽造溯源等技術研發(fā)，在國家公共安全監(jiān)管、媒體內(nèi)容審核、金融風控管理、保險理賠欺詐等關鍵業(yè)務場景中，率先實現(xiàn)偽造監(jiān)測、偽造溯源、AI攻防對抗三大基礎設施的全技術棧布局。公司積累了分行業(yè)、分場景的偽造檢測能力，擁有參數(shù)量達60億的行業(yè)基礎大模型體系化能力底座，能夠在此基礎上微調(diào)，針對新的偽造生成技術迅速分化出不同檢測模型；軟件方面，目前已有音視頻生成內(nèi)容檢測工具“睿安”、圖像生成內(nèi)容檢測工具“睿圖”、文本生成內(nèi)容檢測工具“睿鑒圖靈”

，全方位覆蓋AIGC文本、圖像、音視頻的檢測能力；硬件方面，已有“睿安深偽檢測專用設備“，為國內(nèi)首款軟硬一體的深偽檢測專用設備，破解”敏感任務安全可控處理”和“現(xiàn)網(wǎng)流量大規(guī)模部署”兩大瓶頸，并實現(xiàn)全國產(chǎn)化硬件生態(tài)適配，支持主流國產(chǎn)芯片。圖：中科睿鑒行業(yè)基礎大模型框架42資料來源：中科睿鑒官網(wǎng)、浙商證券研究所圖：睿安深度合成智能檢測平臺圖：睿安深偽檢測專用設備中科睿鑒07中科睿鑒已通過“睿鑒AI”小程序，整合新聞可信度分析、圖像偽造檢測、視頻偽造檢測、AI生成文本檢測等功能并面向公眾開放，每項功能可每日免費使用15次。使用體驗方面，“睿鑒AI”小程序簡單易用、響應迅速、交互流暢，大幅降低了公眾辨別偽造內(nèi)容的技術門檻；識別準確率方面，經(jīng)隨機測試，“睿鑒AI”能夠準確識別偽造圖像和視頻，同時分類標注深度合成/PS篡改/AI生成的區(qū)域；而AI生成的文本經(jīng)測試有概率被識別為人工生成，文本識別準確率仍存在進步空間。圖：“睿鑒AI”小程序主頁面圖：“睿鑒AI”偽造圖片和視頻檢測結果圖：“睿鑒AI”AI文本檢測結果43資料來源：中科睿鑒官網(wǎng)、“睿鑒AI”小程序、浙商證券研究所Illuminarty07Illuminarty是一個在線的AI生成內(nèi)容檢測網(wǎng)站，提供免費的在線AI檢測基礎服務，能夠檢測用戶上傳的圖片和文本是否由AI生成；同時提供“基礎”、“專業(yè)”、“企業(yè)”三種按月訂閱套餐，為有進階需求的個人和企業(yè)用戶提供更專業(yè)的AI內(nèi)容檢測服務；平臺于2022年10月活躍于互聯(lián)網(wǎng)，目前正在開發(fā)瀏覽器擴展程序以提供更便捷的AI內(nèi)容檢測服務。Illuminarty的圖片檢測采用計算機視覺算法，檢測上傳的圖片是否由AI生成以及其使用的AI模型，并給出圖片的AI生成概率；目前已具備檢測主流生成式AI模型的能力，但功能尚存限制：1.

基礎設施受限，無法處理>3MB的圖片；2.

樣本受限，檢測高分辨率圖片、特定藝術風格圖片、攝影作品、動漫/游戲截圖時存在偏差；同時，新加入的檢測AI生成文本的功能，可通過NLP算法輸出上傳文本為AI生成的概率，并標出最有可能為AI生成內(nèi)容的段落，但現(xiàn)階段的識別準確率存在較大提升空間。圖：Illuminarty圖片識別功能演示圖：Illuminarty訂閱套餐及對應功能44資料來源：Illuminarty官網(wǎng)、浙商證券研究所AIVoice

Detector07AI

Voice

Detector是一個在線的AI生成音頻檢測網(wǎng)站，支持上傳多種音視頻文件格式并檢測用戶上傳的音頻是否由AI生成，可應用于法律訴訟、媒體報道、客服交互等場景的音頻真實性識別；其工作原理為通過處理和分析聲音信號以提取頻率、時域、能量等特征，使用機器學習算法進行分類和識別，輸出音頻為AI生成的可能性；平臺于2023年2月開始活躍于互聯(lián)網(wǎng)。據(jù)網(wǎng)站公開信息，AI

Voice

Detector能夠準確識別特定音頻樣本是否由AI生成，但實際應用受限于包括上傳文件自身的背景噪音、音頻長度等因素，需借助降噪、音頻剪輯等工具以達到最佳檢測效果；目前，網(wǎng)站不提供免費試用選項，僅支持訂閱使用，且套餐選擇單一，價格門檻較高、用戶數(shù)量受限。圖：AI

Voice

Detector功能演示45資料來源：AIVoice

Detector官網(wǎng)、浙商證券研究所圖：AI

Voice

Detector當前用戶數(shù)量圖：AI

Voice

Detector訂閱套餐Google0746Google于2023年5月宣布將在其圖片搜索結果中，加入新功能“關于此圖片”，該功能將為用戶顯示圖片首次被Google索引的時間、圖片首次出現(xiàn)的站點、顯示該圖片的其他在線平臺（例如新聞網(wǎng)站、社交媒體）等信息，幫助用戶判斷網(wǎng)絡圖片的真實可靠性，提高用戶對于虛假信息的防范能力；同時，Google宣布將為其Imagen生成的圖片原始文件加入AI標記以確保AI生成的圖片能夠被準確識別，并將允許內(nèi)容創(chuàng)作者和發(fā)布者為圖片進