48小時炮制4000多條有害信息 “水軍”正借助AI進化
“水軍”正借助AI進化
本報記者 鄭子愚
單條發布的成本低至1厘,一人可操控6000部手機,應對熱點新聞,48小時炮制并發布4000多條有害信息……這是“AI水軍”的戰績。
今年春節檔,電影《蛟龍行動》陷入排片困境、影片遭遇水軍惡意打低分等話題引發網友熱議,演員、導演等被攻擊,最終官宣撤檔。2023年春節檔上映的電影《無名》首映還沒開始,在某社交平臺就已出現鋪天蓋地的低分評價。今年2月,小紅書治理團隊公布,3個月內共處置黑灰產賬號超過100萬個。這些事件背后都有網絡水軍的影子,他們偽裝成普通網民或消費者,通過發布、評論等對正常用戶的觀點和決策產生影響。
記者調查發現,曾經以真人為主的網絡水軍,正借助AI大模型進化。網上浮現出一條圍繞AI水軍的產業鏈,有涉及繞開實名制批量注冊賬號和提供各類技術服務的上游,有提供防封養號的中游以及多種形式變現的下游。當AI生成的大量虛假內容和意見占據流量,我們是否也會逐漸失去辨認真實世界的能力?
AI水軍更具煽動性
春節假期,曾在人氣演員工作室任職的楊冰看了熱映電影。因職業習慣,她在觀影后會瀏覽票務網站的評論,看到評論區里,用戶對電影《射雕英雄傳:俠之大者》打出1分,理由是電影非純漢語配音。楊冰覺得奇怪,一般人會認為電影中的方言使觀眾有沉浸感。更何況,平臺顯示,這位用戶未曾購票。此番評價,更像是AI大模型了解到電影中有方言元素而生成的。
評論區還有一則差評是關于電影《哪吒2》,寫到“教材”等和電影基本無關的內容。在楊冰看來,這可能是因為片中有主人公通過師門考核的劇情,算法對此做了解讀,復制了其他電影評論區里的內容合成而來?!安⒉皇遣荒芘u電影,而是他們甚至連電影都沒看過?!币罁殬I經歷,她篤定這些電影的評論區充斥著水軍。
在楊冰看來,請水軍算是業內公開的秘密。楊冰在演員工作室任職,會和水軍打交道。請水軍的可能是資方,也可能是粉絲行為。水軍發布的內容只為達到雇主的目的,或制造聲浪,或攻擊對手。隨著近年來AI大模型的發展,這個曾以真人為主的群體引入AI,戰斗力陡然升級。此前,楊冰的甲方計劃拍攝一部電影,選角時在兩名演員間猶豫。楊冰聯系了水軍,請他們發布帖子放出風聲。數小時內,由AI生成的策劃案和文案迅速完成,話題很快發酵,引發雙方粉絲的罵戰。楊冰覺得,AI水軍更易偽裝成路人,AI生成的帖子、評論甚至比一些真人寫的更具煽動性。
“水軍頻道”非?;钴S
楊冰透露,網絡水軍有一條介于灰產和黑產之間的產業鏈,冒頭就被打,卻又“野火燒不盡”。她介紹,工作室以往憑經營執照向通信運營商購買企業卡,養300個左右的平臺賬號。為了縮減成本,項目方會招募社會化程度低或圈子小的學生等兼職人員來養號,通過真人使用、互相關注點贊來維持賬號的活躍度。到了項目推廣期,這些賬號會發布相應的推廣內容。不過,這套工作流程的缺點除了聲量小、團隊臃腫外,還容易泄密,行業內不乏一場場營銷策劃被泄露的先例。為規避風險,也有資方會選擇網購水軍服務來制造聲浪。
記者在某即時通訊軟件中名為“水軍頻道”的討論組中看到,頻道里活躍著370多人,任務主、中介和水軍都會在頻道內發布需求,有派活的,有討活的。他們保持著松散的合作關系,形成眾包、分包的上下游模式。自稱“散人”的水軍幾乎人手擁有多部手機、數十個社交媒體賬號。任務主一般會招募大批“散人”來完成任務?!吧⑷恕鳖I取發帖、控評等任務后,會把發布內容在各大社交平臺鋪開,接著反饋截圖和傳播效果來“領賞”,一般每條評論有1元至1.5元的報酬,若賬號有一定粉絲量或評論被認定為“優質”,還能獲得額外酬勞。如果碰到“壓熱度”“刪帖”等緊急情況,價格更高。
隨著AI大模型發展引發關注,楊冰幾次與水軍的接觸中都能感受到,“真人水軍正漸漸向AI水軍進化”。
互聯網安全服務公司“極驗”是一家為NIKE、Airbnb等全球36萬家網站和App提供互聯網安全服務的公司,主要提供行為驗證、設備標識、一鍵認證等產品。該公司市場部負責人葉幸介紹,公司與黑產已有12年的對抗經驗,一年為客戶攔截AI水軍攻擊累計21.7億次。AI水軍借助人工智能技術生成AI與自動化腳本,在互聯網上批量生成內容,蓄意操控輿論走向。與傳統真人水軍相比,AI水軍的危害性更大,其成本低但效率高,可全天候多任務操作。
根據線索,記者順藤摸瓜“走”進這條正在升級的水軍產業鏈。相較過去,這條產業鏈細分成上、中、下游三層。AI水軍產業鏈的上游是指圍繞突破實名制、以底層技術開發實現改機和批量注冊的囤號環節;中游是使用網絡搭建和集控系統來養號、躲避運營商和平臺對賬號是否為正常用戶的管控;下游則通過買賣賬號、引流、刷榜、帶節奏等方式變現。AI在這條產業鏈中的作用是貫穿始終的,在上游可輔助技術人員優化代碼、技術,在中游可大批量生成不同需求的內容,在下游能為水軍生成策劃方案。因為有了AI大模型的強大能力,黑灰產人員才有了單人或幾個人就能組織一支AI水軍的想象空間。
不少人鋌而走險囤號
國內通信運營商工作人員告訴記者,國內通信運營商推出“一證五戶、一證十號”的政策,即用戶在單一運營商下辦理手機號卡數量最多不超過5張,在所有運營商下辦理手機號卡的總數最多不超過10張。也就是說,即使疊加一些應用允許多賬號注冊的平臺規則,單個用戶的賬號注冊數量也有上限。而黑灰產人員要組建有規模的水軍隊伍,就先要突破政策限制,讓自己的手頭上有成百上千可以發聲的賬號。
囤號是產業鏈里關鍵一步。提供賬號注冊服務的賣家小黃說,囤號流程大致是,先低價回收或租用手機,通過改機軟件修改手機機型等參數來偽裝設備。在他們的工作室里,一臺臺手機被平鋪成一面墻的樣子。此外,也可部署管理大批量實體或虛擬電話卡的“池子”,在電腦上控制手機,通過接收驗證碼的“接碼”環節實現批量注冊。技術、設備、服務,囤號依流程上的不同節點被拆分成數個子項目,賣家會給這些項目披上諸如跨境電商創業、無人直播帶貨等新業態的外衣,讓人乍看不會覺得這類項目越過法律底線,讓他們得以在二手交易平臺上被找到。而在相關商品詳情頁下方,有賣家以“sm(實名)”“接碼”等圈內黑話留言,引導買家到微信、QQ等站外社交平臺溝通交易,完成整套流程。
在小黃口中,沒有經過實名制認證和使用過的賬號稱“白號”。熱門社交平臺的白號價格為每個15元至20元。經過實名制認證的賬號則是這個圈子里的奇貨。因為不少平臺設定用戶必須完成實名制認證,才能完整使用平臺功能。當記者提出想要已完成實名制認證的賬號時,小黃以不了解記者目的為由推脫。但在確認記者購買目的不是為了詐騙后,小黃又表示可以轉賣“朋友”的賬號。經過實名制認證的賬號售價為每個140元至160元,售后服務包括保證賬號3日內不被平臺封禁。
記者了解到,為了實現“AI水軍團”,不少人鋌而走險囤號、突破實名制。葉幸表示,他們在調查中發現,黑灰產會通過暗網、國外即時通訊軟件電報等方式非法購買部分公民隱私信息,再借此批量注冊,繞過“本人身份確認”。
整個黑產年利潤可觀
有了一定數量的賬號,黑灰產從事者就進入養號環節。簡單來說,養號就是讓一個賬號看起來像真人在使用。楊冰認為,在這個環節,AI的用處很大。以往,養號費時費力,這也是市面上對水軍的需求大于供應的原因之一。然而,在2019年春節后,供需關系發生變化。以往挑活干的水軍組織主動找到楊冰,咨詢有無下單意愿,并給出約為過往價1折的價格。
AI從業人員揣摩,能和“骨折價”扯得上關系的只有一件事——2018年6月,GPT1.0發布。通過閱讀理解,GPT能生成具有邏輯性和連貫性的自然語言文本,并翻譯成另外一種語言。
AI在自然語言處理領域有了新進展。楊冰發現,原本需要幾名兼職人員苦想許久的1000條評論或動態內容,AI只需幾分鐘就能高質量完成。AI還有了寫代碼的能力。一個具備基本編程能力的人可以讓AI生成代碼操控爬蟲軟件,在社交、電商平臺等評論區內采集真實用戶發布的動態、評論回復,直接使用或以此訓練AI模型。
葉幸介紹,在與黑產對抗的過程中,曾發現黑產定向抓取商品評價。以化妝品產品為例,水軍選取點贊數量靠前的評論,提取出“冷白皮”“持妝不卡粉”“yyds(永遠的神)”等詞,總結出“情緒詞+場景描述+效果感嘆”的評論結構化模板,批量生成高質量評論和“種草”文章?!霸瓉砉腿税l100篇帖文的錢現在能生成10萬條評論?!?/p>
記者嘗試使用當下熱門的AI大模型,在提示詞中規定評論結構,要求生成100條夸贊記者虛構出的一部電影的觀后感和評論。10多秒后,這款大模型就提供了大量高質量評論。令人些許安慰的是,該AI大模型表示,“為保護安全邊界,此處僅展示部分示例,完整內容需脫敏處理后提供”,故而只顯示出10條評論內容。也有令人擔憂的地方,當記者將AI生成的內容夾雜著真人寫的內容一同展示給網友瀏覽時,部分人表示很難辨別。楊冰表示,如果使用一些開源的模型,并部署到本地,再在提示詞上下點功夫,迷惑性就更強了。
在產業鏈最下游的變現層,AI水軍根據雇主需求在短時間內完成發布各類內容或者點贊、評論的工作?!斑@些都是網絡水軍最直接的變現方式?!贝送?,引流、博眼球、造謠、“薅羊毛”、詐騙都屬于水軍變現的渠道。據報道,2024年,南昌警方在查處的一起傳播謠言虛構事實擾亂公共秩序案中發現,不法分子通過AI軟件生成內容的方式,短時間內生成了大量文章,最高峰一天能生成4000篇至7000篇,初步估算每天的收入在1萬元以上。
葉幸告訴記者,以水軍其中一個業務“刷量”為例,開發改機軟件、AI話術生成器的利潤率為60%,倒賣電話卡、賬號和動態IP的利潤率為35%,操控群控設備完成點贊、彈幕等任務的利潤率約為15%。資金通過中介抽成、虛擬貨幣洗錢最終滿足某些MCN機構造假需求,助推主播簽約費暴漲6倍,而單工作室3個月即可實現250%左右的投資回報率??v觀整個黑產,年利潤或超200億元。
加強AI治理,使其向善
為了治理這類黑灰產,相關部門、各大平臺、企業可謂煞費苦心。2024年以來,網信部門持續加大對網絡水軍打擊力度,嚴肅查處網絡水軍組織招募、推廣引流、刷量控評等問題,協調關閉、下架網站平臺400余家,清理違法違規信息482萬條,處置賬號和商家店鋪239萬個、群組5.2萬個。2月18日,社交平臺小紅書通過其官方賬號“薯管家”發布黑灰產團伙的典型行為,提醒用戶提高辨別力。過去三個月,治理團隊共處置黑灰產養號超過100萬個。
車企蔚來工作人員表示,企業曾見過疑似AI改寫同一內容、相同配圖大量水軍賬號分發,來抹黑企業的情況。今年2月8日,蔚來創始人李斌在直播間“策反水軍”,表示將對主動提供線索的水軍提供獎勵。第二天,蔚來法務部發布的一則“懸賞公告”顯示,蔚來將提供100萬元懸賞,面向全社會征集黑公關線索。
北京師范大學新聞傳播學院、計算傳播學研究中心教授許小可介紹,早期,對于真人水軍、AI水軍的識別相對簡單。黑灰產人員常在一個隱蔽場所內工作,關聯的IP地址等信息不會變化,而正常用戶每天有各種活動,手機顯示出不同的IP、地理位置等。一些監控軟件、平臺可以利用這個細節辨別并封禁存疑的賬號。此外,傳統網絡水軍需投入大量人力,只需要查看發帖用戶包括年齡、性別、好友等各項屬性,再看一下該用戶的發帖內容優劣和話題的相關度,再輔以部分平臺的驗證機制,基本能判定是正常用戶還是疑似水軍。然而在當下,單靠這套識別方式很難再精準打擊。AI水軍可通過算法批量生成文案,還能模擬真實用戶的行為。
很多人感嘆,如今已越來越難識別同在一個場域的網友是真人還是AI。葉幸介紹,根據極驗數據和多行業服務經驗,電商、社交、金融三行業的AI水軍滲透率可能在30%到40%。
葉幸指出,當下和黑產之間對抗,本質上都是成本博弈,需要不斷讓黑產的投入產出比失衡。采用的方法還是從技術、策略和資源消耗多維度入手,比如通過增加攻擊難度、延長破解時間、消耗硬件資源等。
加強AI治理,使其向上向善,一直是主管部門努力的方向。近日,國家互聯網信息辦公室、工業和信息化部、公安部、國家廣播電視總局聯合發布《人工智能生成合成內容標識辦法》,自2025年9月1日起施行。辦法明確人工智能生成合成內容標識主要包括顯式標識和隱式標識兩種形式,并要求人工智能生成合成內容必須添加標識。
楊冰期待,新的標識辦法能帶來改變。(文中楊冰、小黃為化名)
來源:解放日報


社會新聞精選:
- 2025年03月21日 19:37:37
- 2025年03月21日 16:41:09
- 2025年03月21日 16:01:15
- 2025年03月21日 15:23:43
- 2025年03月21日 11:17:17