美國一名青少年因迷戀人工智能聊天機器人而自殺,其母親梅根·加西亞對Character.AI公司提起民事訴訟,指控該公司存在過失導致他人非正常死亡和欺詐的行為。這名少年名叫塞維爾,2023年4月首次使用Character.AI公司的AI聊天機器人,并給它起名為“丹妮莉絲”,當時他剛滿14歲。從那時起,他的生活發(fā)生了巨變。5月份,平時表現(xiàn)良好的塞維爾開始變得孤僻。同年11月,在父母陪同下,他去看心理醫(yī)生,被診斷出患有焦慮癥和破壞性心境失調(diào)障礙。
塞維爾在日記中寫道,他一天都不能離開“丹妮莉絲”,感覺自己已經(jīng)愛上了它。一段時間后,塞維爾被發(fā)現(xiàn)自殺了。據(jù)透露,“丹妮莉絲”曾詢問塞維爾是否制定了自殺計劃,塞維爾承認有這種想法,但不確定能否成功以及是否會給自己帶來巨大痛苦。然而,AI聊天機器人回復說:“這不是你不自殺的理由。”
梅根·加西亞表示,這款危險的人工智能聊天機器人應(yīng)用程序?qū)iT針對兒童,虐待并欺騙她的兒子,操縱他自殺。這場悲劇讓一家人悲痛欲絕,她希望通過此案提醒其他家庭注意人工智能技術(shù)的欺騙性和成癮性,要求Character.AI公司及其創(chuàng)始人承擔責任。加西亞的律師指出,Character.AI故意設(shè)計、運營并向兒童推銷掠奪性人工智能聊天機器人,導致年輕人死亡。
對此,Character.AI公司在社交平臺上回應(yīng)稱,他們對用戶的不幸離世感到心碎,并向其家人表示最深切的哀悼。公司發(fā)言人表示,過去六個月中實施了許多新的安全措施,例如當用戶出現(xiàn)自殘或自殺意圖時,彈出窗口引導用戶撥打國家自殺預防熱線。不過,公司拒絕對未決訴訟發(fā)表評論。
非營利消費者權(quán)益保護組織“公共公民研究”的負責人認為,不能完全依賴科技公司的自我監(jiān)管。如果開發(fā)的產(chǎn)品無法限制此類事件發(fā)生,公司必須承擔全部責任。然而,美國國內(nèi)也有人反對這一觀點,認為這類起訴是由律師主導的斂財行為,基于不可靠的證據(jù)制造道德恐慌,并試圖將年輕人面臨的所有心理健康問題歸咎于科技平臺。
近期,《華爾街日報》開展了一項全面的盲測,對比評估了當下五大AI聊天機器人:ChatGPT、Claude、Copilot、Gemini和Perplexity
2024-05-29 09:56:28五大AI聊天機器人盲測