全紅嬋、孫穎莎、王楚欽等奧運(yùn)冠軍的聲音被用于虛假帶貨視頻中，這些視頻通過(guò)AI技術(shù)克隆其聲音并截取其他視頻片段制作而成。繼AI“換臉”后，AI“盜聲”再度席卷社交平臺(tái)。

面對(duì)AI技術(shù)的濫用，業(yè)內(nèi)專家建議內(nèi)容發(fā)布者和AI服務(wù)提供者應(yīng)壓實(shí)提供標(biāo)識(shí)義務(wù)，內(nèi)容平臺(tái)也應(yīng)積極攔截審核可疑視頻內(nèi)容，從技術(shù)上提高真?zhèn)舞b別能力。

短視頻平臺(tái)上出現(xiàn)了多個(gè)“全紅嬋帶貨”的視頻，畫(huà)面中除了少量賽后采訪片段外，其余均為養(yǎng)雞場(chǎng)場(chǎng)景，但聲音聽(tīng)起來(lái)很像全紅嬋。這些視頻附帶的土雞蛋鏈接已售出超2.1萬(wàn)單，大量消費(fèi)者表示是出于對(duì)奧運(yùn)冠軍的信任下單。全紅嬋的哥哥全進(jìn)華在直播中回應(yīng)稱妹妹在訓(xùn)練基地，并未賣(mài)雞蛋，那些聲音都是AI合成的。此前家人聲音已被AI克隆用于賣(mài)蜂蜜，目前還在處理相關(guān)法律問(wèn)題。

孫穎莎和王楚欽的聲音近日也遭遇類似盜取仿冒，其采訪畫(huà)面被篡改，配音虛構(gòu)代言土雞蛋的情節(jié)。此外，AI“盜聲”也在批量制造明星帶貨廣告，如“劉濤”“舒淇”“張柏芝”等爭(zhēng)相喊出夸張臺(tái)詞，經(jīng)對(duì)比發(fā)現(xiàn)部分片段實(shí)為截取自其他采訪。

名人聲音被AI頻頻克隆的原因在于名人音源豐富且商業(yè)價(jià)值高，加上大模型技術(shù)的發(fā)展，AI語(yǔ)音合成的門(mén)檻降低。據(jù)統(tǒng)計(jì)，僅6月以來(lái)，行業(yè)就有多款一站式AI語(yǔ)音合成軟件發(fā)布。AI克隆聲音的原理是通過(guò)深度學(xué)習(xí)算法，從采集的聲音樣本中提取頻率、音色、聲調(diào)等關(guān)鍵特征，再將這些特征記錄進(jìn)行合成。如果配上其他視頻畫(huà)面，就可以完成整套移花接木。

電商平臺(tái)上有大量AI聲音克隆工具教程以0.5元至400元不等的價(jià)格售賣(mài)，聲稱只需上傳聲音素材、輸入模擬文本、選擇聲音模型再點(diǎn)擊轉(zhuǎn)化即可。還有人直接提供明星聲音代克隆服務(wù)，收費(fèi)根據(jù)內(nèi)容長(zhǎng)度而定。

9月1日，國(guó)家網(wǎng)信辦等多部門(mén)印發(fā)的《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》將正式施行，明確要求對(duì)AI生成合成的內(nèi)容必須添加標(biāo)識(shí)，任何組織和個(gè)人不得惡意刪除、篡改、偽造、隱匿AI生成合成內(nèi)容標(biāo)識(shí)。工信部信息通信經(jīng)濟(jì)專家委員會(huì)委員盤(pán)和林表示，此類行為既侵犯被模仿者的名譽(yù)權(quán)，也構(gòu)成對(duì)消費(fèi)者的欺詐。對(duì)于內(nèi)容平臺(tái)來(lái)說(shuō)，有義務(wù)在視頻審核的時(shí)候檢查標(biāo)識(shí)是否存在；AI服務(wù)提供商也有義務(wù)按照新辦法的規(guī)定，提供生成內(nèi)容標(biāo)識(shí)功能。

奇安信集團(tuán)行業(yè)安全研究中心主任裴智勇建議，內(nèi)容平臺(tái)和AI服務(wù)提供商應(yīng)建立傳播量預(yù)警機(jī)制，對(duì)短時(shí)間內(nèi)爆發(fā)的可疑視頻啟動(dòng)真?zhèn)舞b別，并將AI合成內(nèi)容識(shí)別納入常態(tài)化監(jiān)測(cè)。同時(shí)，在法律層面，建立追責(zé)機(jī)制，對(duì)造成社會(huì)負(fù)面影響的AI生成內(nèi)容進(jìn)行處罰，并探索針對(duì)公眾人物的網(wǎng)絡(luò)肖像權(quán)保護(hù)制度，禁止使用特定人群肖像合成AI視頻，從源頭阻斷惡意合成。