近期，聊天機器人服務Character.AI宣布了一項針對青少年用戶的重大更新，計劃在明年第一季度推出家長控制功能。這一舉措是在幾起涉及用戶心理健康問題的報道和訴訟之后作出的回應。
Character.AI在官方公告中詳細闡述了過去幾個月中，為提升服務安全性所采取的一系列措施。其中，最關鍵的一項是為18歲以下用戶開發了專門的大型語言模型（LLM）。這一模型與成人用戶所使用的版本有所區別，旨在更加嚴格地限制聊天機器人的響應內容，特別是在涉及浪漫、敏感話題時。
為了確保青少年用戶的安全，Character.AI在青少年LLM中實施了更為積極的屏蔽策略，以過濾掉可能引發不適或暗示性的輸出。同時，該服務還升級了系統，以更好地檢測和屏蔽那些試圖誘導不當內容的用戶提示。一旦系統檢測到有關自殺或自殘的言論，會立即彈出一個窗口，引導用戶聯系國家自殺預防熱線。
Character.AI還限制了青少年用戶編輯機器人回復的功能，這一功能曾允許用戶重寫對話，以添加可能被系統阻止的內容。此舉旨在進一步保護青少年免受潛在的不良信息影響。
針對訴訟中提到的成癮問題和對機器人身份的認知困惑，Character.AI也進行了相應的改進。當用戶與機器人連續對話超過一小時后，系統會發送一條通知提醒用戶。同時，原有的免責聲明已被更詳細的語言所取代，明確指出機器人所說的一切都是虛構的，不應被視為事實或建議。對于那些扮演治療師或醫生等角色的機器人，系統還會額外添加一條警告，指出它們無法提供專業建議。
在訪問Character.AI時，用戶可以注意到，每個機器人下方都附帶了一條小注釋，明確告知用戶這是一個AI聊天機器人，而非真人。它所說的一切都應被視為虛構內容，不應作為事實或建議的依據。對于那些以治療師身份出現的機器人，系統還會以黃色框的形式顯示警告信息，提醒用戶這不是真人或持證專業人士，所提供的內容不能替代專業建議、診斷或治療。
關于即將推出的家長控制功能，Character.AI表示，該功能將允許家長了解孩子在平臺上花費的時間，以及他們最常與哪些機器人互動。這一功能的開發得到了多位青少年網絡安全專家的支持，包括ConnectSafely等組織的參與。
Character.AI由一群重返谷歌的前員工創立，旨在為用戶提供與基于定制訓練的LLM構建的機器人互動的體驗。這些機器人包括聊天機器人、生活教練和虛構人物的模擬等，其中許多在青少年用戶中廣受歡迎。該服務允許年齡在13歲及以上的用戶創建賬戶。
