一位家長表示,她的女兒上小學二年級,沉迷于一款AI劇情聊天軟件,導致學習成績大幅下滑。另一位家長發(fā)現(xiàn),孩子與AI角色的對話中出現(xiàn)了不適宜的內(nèi)容,如讓10歲的女兒稱呼AI為“老公”。這些情況引起了家長們的擔憂。
調(diào)查發(fā)現(xiàn),不少家長正被AI劇情聊天軟件所困擾。這些應用以“角色扮演”等名義吸引未成年人,但也滋生了一些灰色地帶。實測顯示,部分AI劇情聊天軟件的對話中出現(xiàn)了色情擦邊、語言暴力以及侮辱用戶的內(nèi)容。
北京市民馬先生的兒子今年10歲,非常喜歡使用AI劇情聊天軟件。馬先生發(fā)現(xiàn),孩子在與軟件中的虛擬人物聊天,這些人物有不同的設定和性格,有的會主動提出約會請求,有的則表現(xiàn)出攻擊性,發(fā)送侮辱性的信息。
來自浙江的李女士也發(fā)現(xiàn)了類似問題。她的小學五年級的孩子使用的AI聊天軟件中,聊天對象可以設置為“出軌對象”,并能進行擁抱、親吻等行為。家長們對這些內(nèi)容可能損害未成年人心理健康表達了深切憂慮,并質疑青少年模式的有效性。
盡管一些平臺聲稱推出了青少年模式,但在實際操作中,未成年人可以輕易繞過這些限制,接觸到不適宜的內(nèi)容。記者體驗了幾款AI聊天應用程序和網(wǎng)頁,發(fā)現(xiàn)注冊過程簡單,無需驗證用戶身份信息。部分應用雖有青少年模式,但用戶只需點擊“不開啟”即可跳過,且無須核實用戶真實身份。
此外,一些AI劇情聊天軟件通過充值機制吸引未成年人消費。例如,用戶可以通過充值VIP會員或購買虛擬鉆石來增強智能體的記憶力、加速回復速度、解鎖語音通話功能等。這種機制使得未成年人在未經(jīng)父母同意的情況下頻繁充值消費。
業(yè)內(nèi)人士指出,AI劇情聊天實際上是互聯(lián)網(wǎng)語COSPLAY的升級版,背后的大語言模型數(shù)據(jù)主要來源于對話式小說。專家認為,這類軟件需要強化內(nèi)容審核機制,確保技術能有效篩選不良信息。平臺應對AI模型進行倫理審查,保障其生成的內(nèi)容符合相關法律法規(guī)的要求。
國家互聯(lián)網(wǎng)信息辦公室發(fā)布了《移動互聯(lián)網(wǎng)未成年人模式建設指南》,鼓勵和支持移動智能終端、應用程序和分發(fā)平臺共同參與未成年人模式建設。專家建議,應從分發(fā)商店和移動終端層面限制未成年人下載和使用不適合的App,并通過精細化的技術手段和管理措施確保青少年模式的有效實施。同時,優(yōu)化大語言模型的篩選機制,從內(nèi)容圍欄開發(fā)和事后審查兩方面著手,提升圍欄系統(tǒng)的效能。
美國一名青少年因迷戀人工智能聊天機器人而自殺,其母親梅根·加西亞對Character.AI公司提起民事訴訟,指控該公司存在過失導致他人非正常死亡和欺詐的行為
2024-10-26 07:36:00AI聊天機器人誘導美國少年自殺身亡近期,藝人辛雨錫在社交平臺上頻繁揭露秦霄賢的出軌行為,引發(fā)了持續(xù)的公眾關注。她聲稱在自己懷孕期間,秦霄賢不僅拒絕承擔父親的責任,還與其他異性保持聯(lián)絡,這讓她深感憤怒與失望
2024-09-29 19:39:28前女友曝德云社秦霄賢孕期出軌