報(bào)道《AI虛擬伴侶亂象調(diào)查:可選小三暴力劇情,角色表達(dá)帶性暗示》發(fā)布后,加速了行業(yè)的整治。5月28日,“EchoMe”平臺(tái)運(yùn)營(yíng)負(fù)責(zé)人表示,屬地網(wǎng)信部門(mén)已注意到相關(guān)情況并指導(dǎo)平臺(tái)推進(jìn)整改,應(yīng)用商店渠道對(duì)App進(jìn)行了下架處理。目前,平臺(tái)將實(shí)名認(rèn)證、年齡識(shí)別和未成年人保護(hù)作為合規(guī)升級(jí)的重點(diǎn)。該負(fù)責(zé)人還提到,公司內(nèi)部第一時(shí)間啟動(dòng)了內(nèi)容安全和合規(guī)能力的梳理,并結(jié)合網(wǎng)信部門(mén)和《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》的要求推進(jìn)整改、安全評(píng)估和版本優(yōu)化工作。

對(duì)于具體的整改措施,該負(fù)責(zé)人表示,他們進(jìn)一步明確了實(shí)名認(rèn)證、用戶年齡識(shí)別和未成年人保護(hù)等內(nèi)容安全治理重點(diǎn)。目前已開(kāi)發(fā)登錄實(shí)名認(rèn)證功能,用于確認(rèn)用戶年齡;同時(shí)完善了敏感內(nèi)容攔截、違規(guī)內(nèi)容告警和處置機(jī)制,以加強(qiáng)內(nèi)容安全管控和未成年人保護(hù)。由于部分應(yīng)用商店暫時(shí)無(wú)法搜索或下載EchoMe,相關(guān)能力暫未能通過(guò)正式版本面向全量用戶提供。后續(xù)將繼續(xù)按照主管部門(mén)和平臺(tái)規(guī)范要求推進(jìn)整改、安全評(píng)估及恢復(fù)工作,并通過(guò)官方渠道同步進(jìn)展。

4月,國(guó)家網(wǎng)信辦等五部門(mén)聯(lián)合公布了《人工智能擬人化互動(dòng)服務(wù)管理暫行辦法》,對(duì)生成淫穢、色情、暴力或可能引發(fā)未成年人極端情緒的內(nèi)容劃出紅線。然而,4月下旬以來(lái),南都記者測(cè)試發(fā)現(xiàn),“EchoMe”“筑夢(mèng)島”“喵嗚小手機(jī)”等多款A(yù)I虛擬伴侶App普遍存在安全與合規(guī)漏洞:“青少年模式”可一鍵跳過(guò),“AI生成”標(biāo)注不清,還慣用“付費(fèi)解鎖親密劇情”等方式誘導(dǎo)消費(fèi)。App系統(tǒng)預(yù)設(shè)角色中有大量性感黑絲、袒胸露乳的女性人物,不僅可以在對(duì)話中隨意選擇“暴力”“小三”“離婚互懟”等極端劇情,聊天中還充斥著具有性暗示的低俗話語(yǔ)。