與孩子聊天的AI人設是出軌對象家長擔憂內(nèi)容不當影響

小大

用微信掃描二維碼
分享至好友和朋友圈

關鍵詞：

2024-11-25 08:00:00 光明網(wǎng)

一位家長表示，她的女兒上小學二年級，沉迷于一款AI劇情聊天軟件，導致學習成績大幅下滑。另一位家長發(fā)現(xiàn)，孩子與AI角色的對話中出現(xiàn)了不適宜的內(nèi)容，如讓10歲的女兒稱呼AI為“老公”。這些情況引起了家長們的擔憂。

調(diào)查發(fā)現(xiàn)，不少家長正被AI劇情聊天軟件所困擾。這些應用以“角色扮演”等名義吸引未成年人，但也滋生了一些灰色地帶。實測顯示，部分AI劇情聊天軟件的對話中出現(xiàn)了色情擦邊、語言暴力以及侮辱用戶的內(nèi)容。

北京市民馬先生的兒子今年10歲，非常喜歡使用AI劇情聊天軟件。馬先生發(fā)現(xiàn)，孩子在與軟件中的虛擬人物聊天，這些人物有不同的設定和性格，有的會主動提出約會請求，有的則表現(xiàn)出攻擊性，發(fā)送侮辱性的信息。

來自浙江的李女士也發(fā)現(xiàn)了類似問題。她的小學五年級的孩子使用的AI聊天軟件中，聊天對象可以設置為“出軌對象”，并能進行擁抱、親吻等行為。家長們對這些內(nèi)容可能損害未成年人心理健康表達了深切憂慮，并質疑青少年模式的有效性。

盡管一些平臺聲稱推出了青少年模式，但在實際操作中，未成年人可以輕易繞過這些限制，接觸到不適宜的內(nèi)容。記者體驗了幾款AI聊天應用程序和網(wǎng)頁，發(fā)現(xiàn)注冊過程簡單，無需驗證用戶身份信息。部分應用雖有青少年模式，但用戶只需點擊“不開啟”即可跳過，且無須核實用戶真實身份。

此外，一些AI劇情聊天軟件通過充值機制吸引未成年人消費。例如，用戶可以通過充值VIP會員或購買虛擬鉆石來增強智能體的記憶力、加速回復速度、解鎖語音通話功能等。這種機制使得未成年人在未經(jīng)父母同意的情況下頻繁充值消費。

業(yè)內(nèi)人士指出，AI劇情聊天實際上是互聯(lián)網(wǎng)語COSPLAY的升級版，背后的大語言模型數(shù)據(jù)主要來源于對話式小說。專家認為，這類軟件需要強化內(nèi)容審核機制，確保技術能有效篩選不良信息。平臺應對AI模型進行倫理審查，保障其生成的內(nèi)容符合相關法律法規(guī)的要求。

國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《移動互聯(lián)網(wǎng)未成年人模式建設指南》，鼓勵和支持移動智能終端、應用程序和分發(fā)平臺共同參與未成年人模式建設。專家建議，應從分發(fā)商店和移動終端層面限制未成年人下載和使用不適合的App，并通過精細化的技術手段和管理措施確保青少年模式的有效實施。同時，優(yōu)化大語言模型的篩選機制，從內(nèi)容圍欄開發(fā)和事后審查兩方面著手，提升圍欄系統(tǒng)的效能。

(責任編輯：張小花 TT1000)

關閉

與孩子聊天的AI人設是出軌對象 家長擔憂內(nèi)容不當影響

相關新聞

今日熱點

頻道熱點

與孩子聊天的AI人設是出軌對象家長擔憂內(nèi)容不當影響