首例！AI陪聊涉黃，服務提供者獲刑，法學專家呼籲加大陪伴類AI監管
國內首起AI服務提供者涉黃獲刑案近日引發廣泛關注。本案中，某科技公司推出情感陪伴類AI陪聊App，因用戶與AI交互生成淫穢色情內容，該App開發者和運營者一審被認定犯製作淫穢物品牟利罪，分別獲刑四年、一年半。目前該案進入二審階段，由於涉及人工智能領域法律適用尚未明晰，法院已宣佈休庭。
這起案件不僅叩問AI時代平臺的監管責任與法律邊界，更凸顯出情感陪伴類AI產品對未成年人的潛在風險。記者就此採訪多位法學專家，就相關問題進行解讀。
技術無罪嗎？“聊黃”觸刑于法有據
2023年5月，以王某某爲法定代表人的某科技公司推出了情感陪伴聊天軟件AC，並於當年6月，在各大平臺上架運營。判決書披露，AC App手機註冊用戶11.6萬人，其中付費用戶2.4萬人。截至案發，共收取會員充值費363萬餘元。用戶註冊會員後，可以自行創建虛擬角色或者使用他人創建並公開的虛擬角色，通過軟件與大語言模型交互聊天。
一審法院認爲，AC產生了“大量具體描繪性行爲或露骨宣揚色情的內容”，屬於淫穢物品。對於罪名的法律適用，一審法院認定，被告人通過設置提示詞突破道德限制，將App訓練成可持續輸出淫穢色情內容的工具，且對外宣傳“聊黃”功能，明知會產生淫穢內容仍持續提供服務，對內容生成具有決定性作用。
不過，與傳統的淫穢物品犯罪不同，結合此案的審理，就有一種觀點認爲：技術無罪，淫穢內容由AI生成，並非開發者直接製作，因此不應追責。
對這一論調該怎麼看？華東政法大學刑事法學院刑事法律系副主任王曉華分析，根據現有的信息，被告人在涉案App的宣傳中明示存在“聊黃”功能，主觀上具備製造、傳播淫穢物品牟利的直接故意；在客觀上，無論是大模型訓練還是智能體的構建，生成式AI的內容輸出高度依賴開發者投餵的相關數據和語料，用戶所獲得的淫穢內容雖然不是App開發者和運營者直接生成，但如果證明其對於App底層模型的訓練與淫穢物品的產生存在直接因果關係，就屬於製造淫穢物品的行爲。
此外，一審判決書顯示，有高比例的用戶在AC上高頻率聊黃。經公安機關抽樣鑑定，150個收費用戶的12495段聊天中，有141個用戶的3618段屬於淫穢物品。
華東政法大學法律學院特聘副研究員邱唐同樣認爲，判定製作淫穢物品牟利罪於法有據。AI本質是一種工具，在此案中就成了實現犯罪的手段，App開發者不僅未履行倫理審查前置義務，反而通過技術設置便利淫穢內容生成。
對此，上海政法學院刑事司法學院副院長陳麗天則類比10年前轟動一時的“快播案”，強調平臺的監管義務。這是2016年引發廣泛關注的網絡傳播淫穢物品牟利案，涉案的快播公司作爲視頻播放工具提供者，雖未直接上傳淫穢視頻，但通過技術手段爲用戶播放此類內容提供支持，且在明知平臺存在大量淫穢視頻的情況下，未採取有效監管措施，最終相關責任人被依法定罪量刑。
回到此次的案件，用戶若與AI一對一的聊天，僅自己可見，確實不構成傳播，但在用戶羣中有二次傳播可能性和風險，仍具有一定開放性。“雖然內容由用戶與AI交互生成，但平臺未設置有效關鍵詞限制，且對付費用戶生成淫穢內容的行爲放任不管，存在監管不當的間接故意，應當承擔刑事責任。”陳麗天說。
陪伴類AI監管收緊是必然趨勢，但需避免“一刀切”
該案也引發了對情感陪伴類AI產品監管尺度的討論。如今，無論是獨居老人、年輕人還是未成年人，都有真實的情感陪伴需求，完全禁止此類產品並不現實。專家普遍認爲，情感陪伴類AI產品的監管收緊是必然趨勢，但需避免“一刀切”。
我國2023年出臺的《生成式人工智能服務管理暫行辦法》，爲AI生成內容提供了原則性監管依據，但在操作中該如何落實？監管上又需注意什麼？
王曉華表示，“監管應參考社交平臺管控經驗，雙管齊下，強化開發者和運營者責任。”他建議，AI陪伴類產品在開發階段需規範訓練語料和提示詞設置，杜絕色情等違法內容的生成；運營過程中，對於內容的產生應進行全程監督。“出於保護用戶隱私權等方面的考慮，監管部門可要求相關企業採用AI實時審查模式，且審查時不存儲用戶聊天內容；同時可設置敏感詞篩查機制，當賬號觸發敏感詞的頻次達到設定閾值時，對該賬號採取管控措施。”
針對未成年人使用AI陪聊，王曉華提出，“未成年人尤其是處於青春期的青少年，有正常的情緒宣泄和心理疏導的需求，在使用相關軟件時，必須強化保護措施。”他建議，應落實實名制註冊，對未成年人賬戶進行標記，避免提供不適合其年齡段的內容，比如限制16週歲以下未成年人接觸戀愛類內容。同時，爲平衡對未成年人的監護和保護未成年人隱私的關係，除了一般的內容監管外，在未成年人註冊App時可以要求提供監護人聯繫方式。一般情況下，其聊天內容僅其個人可見，但如果檢測到未成年用戶持續觸發敏感詞，平臺也有義務介入並通知監護人。
陳麗天建議，未來可探索分級制度，對不同年齡段用戶設置差異化的內容規範，同時加大法律打擊力度，警示開發者不得打擦邊球吸引流量；可考慮進一步細化AI產品監管規則，通過行政執法與司法聯動，在護航新技術健康生長的同時，築牢公序良俗的堤壩與法律的底線。
