上海老教授夫婦從21樓墜下,牀上擺180萬元現金?AI寫的!
最近,有讀者向上海闢謠平臺發來一則主題爲“上海老教授夫婦從21樓墜下,牀上擺180萬元現金”的帖子,詢問真僞。該帖子細節翔實,既有地點“上海虹口區安瀾公寓”,又有多位有名有姓的當事人。乍看之下,真假難辨。
但初步覈查就發現不少問題:虹口區沒有“安瀾公寓”,當地近期也沒發生類似事故;經國家反詐中心App等多個具有“AI內容鑑定”功能的應用檢測,帖子被判定爲“文本含AI生成痕跡”。
國家反詐中心App對網帖的鑑定結果
記者順着這條線索進一步調查發現,類似“真實地名+虛構情節”的帖子大量出沒於信息類網絡平臺,並形成一條低成本、流水線式的灰色內容產業鏈。同時,平臺處置存在明顯滯後,不僅沒有按國家規定強制發帖者爲這些虛構內容打上提示標籤,而且在部分賬號已被發現有問題時,並未限制他人複製轉發虛假內容,導致謠言擴散。
虛構故事批量氾濫
從讀者發來的網帖看,文中人物、地點、關鍵情節一應俱全,但敘事口吻與虛構小說很類似,AI內容鑑定結果也證實,文章由AI生成。記者原以爲這只是個別網民編造的博眼球作品,可順着發佈賬號和關鍵詞溯源,卻揭開一類正在蔓延的網絡亂象。
以發佈“老教授夫婦墜樓”帖子的賬號爲例,其在某資訊平臺已積累上萬粉絲,發佈了4700多條帖子。每篇帖子的標題都頗有懸念,如“北京老人五歲孫子墜井亡,三年後抽乾井驚呆了”“四川56歲男子信蒲公英能抗癌,天天泡水喝,1年後身體竟這樣”“廣東男子拾金38萬元,對方未謝,次日帶6人登門,一句話他愣住”……點開後,發現大部分都是情節離奇的社會事件,有具體的時間、地點、人物。
該賬號發佈了大量虛構文章
可記者對這些帖子全文開展“AI內容鑑定”後發現,大多爲AI生成;依據帖子提及的時間、地點逐一覈查,同樣“查無此事”。
發帖頻率更是證明了這些帖子是其牟利工具——初步統計顯示,該賬號平均每天發佈3條虛構帖,單日最高發布量超過10條。
此外,記者在多個資訊類網站上發現大量類似的賬號和帖子。相關帖子都採用“真實地點+虛構故事”模式,而且互相抄襲:僅“老教授墜樓”的故事就有多個相似版本,只不過地名、人名有差異;其餘劇情模板也被反覆套用:有的寫家庭情感糾紛,有的渲染離奇社會事件,有的編造鄰里矛盾、養老悲劇。
不同平臺上有大量內容雷同的虛構文案
不同於AI生成圖片、視頻容易出現畫面破綻,純文本造假的欺騙性更強。沒有畫面失真、人物畸形這類直觀破綻,文字可以做到邏輯通順、細節豐富,普通讀者很難直接分辨是人工撰寫還是AI生成。當虛構故事綁定真實城市地名,很多人會下意識默認事件真實發生,進一步助推謠言傳播。部分帖子流傳開之後,還會被其他自媒體二次改寫,衍生更多版本,進一步放大誤導效應。
某AI生成大模型技術人員表示,按照當下技術,生成這類帖子成本極低,“編故事的人只要藉助通用AI大模型,輸入故事梗概,幾秒鐘就能得到AI編寫的故事。替換地名、人物信息後,還能批量生成數十上百篇差異化的帖子。”
至於發帖者的目的,也很簡單:藉助AI批量產出以假亂真的故事,博取流量、積累粉絲,後續通過平臺流量分成、商業廣告、商品帶貨等實現流量變現。
平臺治理存在缺位
按照《人工智能生成合成內容標識辦法》和強制性國家標準GB 45438‑2025《網絡安全技術人工智能生成合成內容標識方法》,公開傳播人工智能生成或合成的文本、圖片、音視頻時,應落實標識義務。其中,“顯式標識”應清晰可見,即網友在瀏覽相關文本時,能明白無誤地瞭解相關內容爲AI生成。
但記者調查發現,很多AI虛構故事沒有標識,部分賬號更是手動刪除AI大模型生成文本時自帶的“文章含AI內容”等提示語句,刻意隱瞞內容屬性,誤導他人。
這一問題與平臺管理缺位不無關係。
熟悉平臺治理工作的業內人士陳強(化名)透露,部分平臺的審覈機制本身就有短板。一方面,很多資訊類平臺所發佈信息中既有轉發的時事新聞,也允許用戶分享小說等虛構創作。因此,平臺的審覈機構無法自動甄別內容屬性,難以區分文學創作與冒充社會事件的謠言。造假者利用這一漏洞,將不寫明“本故事純屬虛構”的內容冒充社會新聞發佈,誤導他人。
另一方面,平臺的內容審覈中心也忽略了AI生成文字的危害。當前,大部分平臺對文字類信息的審覈重點在於是否存在違法違規類關鍵詞,但對“文字由AI生成還是人工寫作”缺少常態化的識別技術與審覈機制。因此,大量僞裝成社會故事的AI生成帖子得以順利通過系統審覈,無須附加任何提示標籤即可向網友推送。
更糟糕的是,部分平臺算法還會依據帖子熱度,持續推送含有高衝突情節的帖子。“故意傳播虛構故事的賬號往往擅長捕捉大衆情緒,用家庭悲劇、地方離奇事件等引流,而平臺算法過度依託互動數據分發流量,抬高了虛假內容的曝光權重。”陳強說。
記者也注意到,部分發布大量虛構帖的賬號,竟然獲評平臺的“內容精選官”“優質創作者”。
更值得關注的是,記者調查還發現,即便已經發現問題賬號,平臺的處置也不夠有效。例如,發佈“老教授夫婦墜樓”等大量虛假帖子的賬號一度被平臺標註“因違反相關規則,該用戶已被禁言”,但時隔不久,就取消了這一處置。即便在“禁言”期,該賬號發佈的不實帖子仍可閱讀、轉發。可見,平臺沒有切斷虛假內容的傳播鏈路。
造假賬號“禁言期”很短,還當選爲平臺的“精選官”
形成全鏈條閉環治理
不難發現,面對AI批量生成的虛假社會事件帖子,如何審覈相關內容、處置違規賬號,已經成爲網絡治理的現實考題。
補齊文本類AI生成技術治理短板是築牢治理防線的核心。平臺應將AI內容甄別納入發帖前置審覈流程,對判定爲AI生成的內容強制添加提示標識,告別依靠發帖者主動標註的被動治理模式。
強化算法責任,改變唯流量導向也很必要。對於爆料類、社會悲劇類帖子,算法應當增加審慎分發機制。當帖子沒有權威信源支撐,僅憑網友口述,即便是熱度走高,也應當降低推薦權重,避免算法把虛構故事大規模推送給全網用戶。
平臺對已經出現的“真實地名+社會悲劇爆料”類造假模板,不妨建立特徵庫,對高嫌疑帖子進行人工複覈。這既能從源頭管住虛假文本,還能提高平臺對對應賬號的管理效率,及時處置問題賬號。
對查實批量發佈虛假信息的賬號,要對存量內容進行處置。如果帖子已經被覈實爲虛假信息,應當對涉謠內容採取下架、打上顯著闢謠標籤等處置方式,不能原文原樣保留,任由不知情的新用戶繼續閱讀轉發。
此外,針對違規賬號被處置後、運營者註冊新賬號繼續造謠的“換號重生”亂象,平臺需完善主體黑名單機制,關聯違規主體的設備、IP信息,對其新開賬號提高審覈門檻;對多次違規、惡意牟利的賬號,直接永久封禁。
最後,普通網民要提升媒介素養,練就識別AI生成的“火眼金睛”。 AI生成的社會故事帖雖然仿真度極高,但仍存在明顯破綻:內容僅有單一敘事,無官方通報、媒體報道、權威求證等交叉覈驗線索。通常,越是情節聳人聽聞、衝突強烈、容易激發情緒的帖子,越要多一份審慎。
網友若遇到存疑內容時,也可通過官方闢謠平臺交叉覈驗,檢索關鍵詞查詢相關闢謠信息等,切勿盲目轉發擴散未經覈實的信息。發現疑似虛假內容,也可通過平臺舉報渠道提交線索,共同淨化網絡空間。
題圖來源:AI生成
微信編輯:何夕
還原事實,洞悉真相。
歡迎關注,留言舉報!