近年來，隨著人工智能技術(shù)的日益火爆，在網(wǎng)絡(luò)上編造和傳播謠言的成本也變得更低。利用AI合成技術(shù)編造謠言，甚至生成逼近真實(shí)的圖片、音視頻，顛覆了“有圖就有真相”的常規(guī)認(rèn)知，讓人難辨真假。

今年1月，某網(wǎng)絡(luò)平臺(tái)出現(xiàn)一條關(guān)于“西安爆炸”的消息。消息稱：1月10日晚11時(shí)48分，突然一聲巨大的爆炸聲在城市中響起。文字下方還配發(fā)了所謂爆炸的圖片。這條看起來聳人聽聞的消息很快在網(wǎng)上傳播，甚至包含了時(shí)間、地點(diǎn)等關(guān)鍵信息，極具迷惑性，那么真相到底如何呢？

警方調(diào)查到，消息的發(fā)布賬號(hào)歸屬于江西南昌的一家MCN機(jī)構(gòu)。這家公司的實(shí)際控制人為王某某。

江西南昌市公安局高新分局網(wǎng)絡(luò)安全保衛(wèi)大隊(duì)大隊(duì)長(zhǎng) 李毅：我們接到西安警方的通報(bào)，說我們轄區(qū)有一個(gè)MCN機(jī)構(gòu)，西安發(fā)生了一個(gè)爆炸，發(fā)布了這么一條信息，他們經(jīng)過本地的核實(shí)，并沒有發(fā)生類似的事件。在這種情況下，我們就初步判定該MCN機(jī)構(gòu)發(fā)布的信息涉嫌網(wǎng)絡(luò)造謠，屬不實(shí)信息。我們立刻對(duì)該公司負(fù)責(zé)人進(jìn)行了約談，同時(shí)勘察了該公司的辦公場(chǎng)所，并對(duì)使用的電腦和軟件工具進(jìn)行了現(xiàn)場(chǎng)取證。

在約談中，警方從王某某處得知，網(wǎng)上發(fā)布的西安發(fā)生爆炸這條謠言，從文本到圖片，竟然全都是通過AI生成的。

江西南昌市公安局高新分局網(wǎng)絡(luò)安全保衛(wèi)大隊(duì)大隊(duì)長(zhǎng) 李毅：違法人員王某某通過國(guó)內(nèi)一個(gè)網(wǎng)站，該網(wǎng)站是專門提供近期可能生成熱點(diǎn)的一些新聞報(bào)道，或者說正在發(fā)生或即將發(fā)生的一類的事情，分級(jí)分類提供給寫作者一些關(guān)鍵性的關(guān)鍵詞，通過該網(wǎng)站生成關(guān)鍵詞就形成了文章的標(biāo)題。

王某某通過具有語音交互功能的AI軟件，只需說出關(guān)鍵詞，軟件便會(huì)自動(dòng)在網(wǎng)絡(luò)上抓取相關(guān)信息，生成幾百到上千字的文本，并配上貌似和事件具有相關(guān)性的虛假圖片，從而形成一段看起來信息量很大，實(shí)際上子虛烏有的內(nèi)容。違法人員王某某將AI生成的這些內(nèi)容，使用另一款軟件自動(dòng)上傳到該MCN機(jī)構(gòu)控制的多網(wǎng)絡(luò)平臺(tái)不同的賬號(hào)上，并對(duì)外發(fā)布。

江西南昌市公安局高新分局網(wǎng)絡(luò)安全保衛(wèi)大隊(duì)大隊(duì)長(zhǎng) 李毅：以新聞撰稿人的角度、方向、語氣，對(duì)下列關(guān)鍵詞如“爆炸”“民生”等等信息，要求AI軟件生成文章、新聞熱點(diǎn)類的圖片，全程基本不需要人工參與，所以導(dǎo)致在操作過程中產(chǎn)生了這樣的謠言信息。

通過AI軟件生成內(nèi)容的方式，這家MCN機(jī)構(gòu)短時(shí)間內(nèi)生成了大量的文章，最高峰一天能生成4000至7000篇。今年3月28日，警方傳喚了王某某。王某某對(duì)自己通過AI軟件編造大量謠言的情況供認(rèn)不諱。據(jù)王某某供述，生成這些文章，主要是想讓自己運(yùn)營(yíng)的賬號(hào)關(guān)注點(diǎn)贊量更高，從中賺取流量。

警方在調(diào)查過程中發(fā)現(xiàn)，該MCN機(jī)構(gòu)在網(wǎng)絡(luò)上發(fā)布的內(nèi)容以民生類信息為主，大部分看似與百姓生活密切相關(guān)，卻會(huì)通過在其中加入夸張故事情節(jié)、獵奇性成分，或編造不實(shí)信息，以此來獲取網(wǎng)民關(guān)注度和點(diǎn)贊量，進(jìn)而實(shí)現(xiàn)流量變現(xiàn)。

王某某將AI自動(dòng)生成的文章，發(fā)布在平臺(tái)，平臺(tái)再根據(jù)文章的點(diǎn)贊數(shù)和閱讀量支付其相應(yīng)的報(bào)酬。通過這種方式，王某某在短時(shí)間內(nèi)獲得了高額報(bào)酬。

江西南昌市公安局高新分局網(wǎng)絡(luò)安全保衛(wèi)大隊(duì)大隊(duì)長(zhǎng) 李毅：王某某生成文章之后推送到各平臺(tái)，然后通過關(guān)注閱讀的方式，閱讀量比如說達(dá)到1萬，它就是系數(shù)1，然后再乘以關(guān)注、轉(zhuǎn)發(fā)、評(píng)論，再乘以一個(gè)1.5的系數(shù)，最終生成平臺(tái)支付給他的報(bào)酬。同時(shí)如果有廣告收入的話，另行支付。他平均每天通過AI工具發(fā)布的是4000到7000條信息，最高的一條收入是700元。經(jīng)初步的估算，每天的收入在1萬元以上。

民警發(fā)現(xiàn)，該MCN機(jī)構(gòu)發(fā)布的網(wǎng)絡(luò)謠言中，獵奇性強(qiáng)的內(nèi)容往往更吸引眼球。比如，王某某利用AI生成的一篇“某地產(chǎn)公司創(chuàng)始人被控制”的文章，在網(wǎng)上關(guān)注度較高，據(jù)警方介紹，這一條內(nèi)容的收入也較高。

江西南昌市公安局高新分局網(wǎng)絡(luò)安全保衛(wèi)大隊(duì)大隊(duì)長(zhǎng) 李毅：因?yàn)樵撔畔儆?ldquo;熱點(diǎn)新聞”，同時(shí)這篇文章的故事性和獵奇性也比較強(qiáng)，所以引發(fā)的社會(huì)關(guān)注度比較高。

經(jīng)警方調(diào)查，王某某共經(jīng)營(yíng)了5家MCN機(jī)構(gòu)，運(yùn)營(yíng)賬號(hào)842個(gè)，自今年1月以來，其中一家MCN機(jī)構(gòu)利用其賬號(hào)陸續(xù)在某平臺(tái)上發(fā)布了“西安2024年1月10日發(fā)生爆炸，導(dǎo)致建筑、車輛炸毀、人員傷亡”等多條謠言信息。

江西南昌市公安局高新分局網(wǎng)絡(luò)安全保衛(wèi)大隊(duì)大隊(duì)長(zhǎng) 李毅：都是在同一平臺(tái)，用不同的名稱或類型發(fā)布大家關(guān)注的不同類別的信息，比如民生類、社會(huì)熱點(diǎn)類的。

經(jīng)查，王某某的行為構(gòu)成傳播謠言虛構(gòu)事實(shí)擾亂公共秩序。目前，南昌警方依據(jù)中華人民共和國(guó)治安管理處罰法相關(guān)規(guī)定，依法對(duì)王某某處以行政拘留5日，責(zé)令涉案MCN機(jī)構(gòu)停業(yè)整改。

模仿新聞風(fēng)格 AI生成謠言迷惑性更強(qiáng)

利用AI技術(shù)，模仿新聞風(fēng)格，一鍵生成的謠言信息迷惑性更強(qiáng)。而涉及險(xiǎn)情或?yàn)?zāi)情的虛假消息，更能獲取高流量。在重慶，公安機(jī)關(guān)就查處了一起個(gè)人利用AI軟件造謠的案件，他編造的民房爆炸謠言，讓他以為能實(shí)現(xiàn)流量變現(xiàn)。這起案件被公安部列為打擊整治網(wǎng)絡(luò)謠言違法犯罪典型案例。

04:10

2023年12月25日，一則“重慶巫溪一民房發(fā)生爆炸事故，4人不幸遇難，官方緊急介入調(diào)查”的消息在某網(wǎng)絡(luò)平臺(tái)上發(fā)布，全文500余字，以新聞報(bào)道的口吻提供了重慶巫溪縣“突發(fā)爆炸事故，現(xiàn)場(chǎng)情況十分慘烈”“發(fā)現(xiàn)了4名遇難者，其中包括一名兒童”“疑似與居民私拉亂接電線有關(guān)，調(diào)查組將進(jìn)一步搜集證據(jù)”等細(xì)節(jié)，短時(shí)間內(nèi)這則所謂的“突發(fā)新聞”便獲得了幾萬次的點(diǎn)擊量。閱讀量暴漲，讓之前在網(wǎng)上發(fā)文沒有任何流量的康某某一開始還有些興奮。

違法行為人 康某某：當(dāng)時(shí)我發(fā)了20多條，沒有啥收益，后來看了一個(gè)爆炸的新聞點(diǎn)贊好幾十萬，我就輸了一個(gè)“重慶爆炸”，它就自動(dòng)生成了，我就復(fù)制它的標(biāo)題和文章進(jìn)行發(fā)表。

就這樣，康某某因?yàn)榭吹揭黄P(guān)于爆炸事故的新聞關(guān)注度高，就在AI文本生成軟件里輸入了“重慶”“爆炸”的關(guān)鍵詞，生成了上述這篇毫無根據(jù)、隨意編造的虛假“新聞”，并發(fā)布在自己的網(wǎng)絡(luò)賬號(hào)上。

康某某之所以制造謠言，是因?yàn)榈弥谀持W(wǎng)絡(luò)平臺(tái)創(chuàng)作發(fā)布文章，可以根據(jù)閱讀、評(píng)論、轉(zhuǎn)發(fā)數(shù)量等獲取相關(guān)流量收益，每千人有效閱讀量有1至2元的獎(jiǎng)勵(lì)。為了獲取收益，康某某在看到一則爆炸事故的老新聞點(diǎn)擊量巨大后，便想到了編造虛假消息，來博取流量。但他的這種行為已經(jīng)觸犯了法律。

違法行為人 康某某：到了晚上7點(diǎn)多，這篇文章的曝光量已經(jīng)上萬了，有效閱讀量也是上千，然后民警就給我打電話了。

重慶市公安局網(wǎng)安總隊(duì)民警 陳鵬：經(jīng)過我們核實(shí)，這是徹頭徹尾的一條謠言，因?yàn)橛绊懕容^惡劣，我們就把相關(guān)情況通報(bào)給了屬地警方梁平區(qū)公安局，對(duì)造謠人進(jìn)行責(zé)任追究。

警方找到康某某時(shí)，他還沉浸在自己終于打造了爆款內(nèi)容的喜悅之中，對(duì)于可能因此要承擔(dān)的法律責(zé)任毫無概念。

重慶市梁平區(qū)公安局龍門派出所民警 毛云燦：康某某也是承認(rèn)了自己利用AI工具生成了一篇虛假文章并發(fā)表在網(wǎng)上這一事實(shí)。但康某某顯然沒有意識(shí)到自己的行為已經(jīng)觸犯了相關(guān)法律，他認(rèn)為只要自己將這篇文章給刪掉，就沒有事了，但其實(shí)他這樣的行為，需要承擔(dān)相應(yīng)的法律后果。

康某某為了增加自己賬號(hào)的曝光度、閱讀量，就毫無底線地蹭網(wǎng)絡(luò)熱點(diǎn)，編造虛假消息，以此想獲取平臺(tái)給的獎(jiǎng)勵(lì)，實(shí)現(xiàn)流量變現(xiàn)。經(jīng)警方查證，康某某對(duì)其虛構(gòu)事實(shí)擾亂公共秩序的違法行為供認(rèn)不諱。

重慶市梁平區(qū)公安局龍門派出所民警 毛云燦：康某某的行為違反了治安管理處罰法第二十五條之規(guī)定，公安機(jī)關(guān)依法對(duì)其行政拘留三日，收繳其違法所得，并封禁了其網(wǎng)絡(luò)賬號(hào)。

重慶市公安局網(wǎng)安總隊(duì)民警 陳鵬：在互聯(lián)網(wǎng)科技時(shí)代，當(dāng)下AI技術(shù)不但能生成文本，還能生成逼近真實(shí)的圖片和音視頻，這就完全顛覆了我們常規(guī)認(rèn)知里的“有圖就有真相”，使我們對(duì)網(wǎng)絡(luò)謠言本身難辨其真假。也使網(wǎng)絡(luò)謠言的社會(huì)危害性變得更大。網(wǎng)絡(luò)并非法外之地，對(duì)于在互聯(lián)網(wǎng)上發(fā)布不實(shí)言論、擾亂社會(huì)秩序的，公安機(jī)關(guān)將堅(jiān)決依法堅(jiān)決處理，對(duì)于造成惡劣影響、情節(jié)嚴(yán)重的，公安機(jī)關(guān)將依法追究其法律責(zé)任。

設(shè)計(jì)好劇本 對(duì)罵引流再直播約架

博取流量，漲粉獲利的無底線惡意炒作行為，嚴(yán)重?cái)_亂社會(huì)秩序。在河南鄭州，有兩名網(wǎng)絡(luò)主播事先設(shè)計(jì)好劇本，組織人員相互謾罵引流，再直播約架。正當(dāng)兩幫人在準(zhǔn)備碰面時(shí)，被警方及時(shí)制止并控制。

01:50

6月8日晚上10時(shí)多，鄭州市公安局鄭東新區(qū)分局接到舉報(bào)稱，在一網(wǎng)絡(luò)直播平臺(tái)上，一個(gè)網(wǎng)名叫“老某”的博主正和一個(gè)網(wǎng)名叫“江某”的博主在網(wǎng)上“約架”。

河南鄭州市公安局鄭東新區(qū)分局商務(wù)區(qū)派出所教導(dǎo)員 徐航：接到報(bào)案之后，我們立即進(jìn)去這個(gè)直播間看，然后尋找這些人位置，我們出動(dòng)警力將這些人現(xiàn)場(chǎng)控制。

警方了解到，兩名“約架”的主播在網(wǎng)絡(luò)平臺(tái)都擁有數(shù)十萬粉絲，平時(shí)的經(jīng)濟(jì)來源也都是依靠網(wǎng)絡(luò)直播，而所謂的“約架”，其實(shí)是他們?cè)缇驮O(shè)計(jì)好的劇本。當(dāng)天，他們組織人員通過互相謾罵，煽動(dòng)粉絲對(duì)立情緒，并發(fā)布視頻預(yù)熱引流。然后，雙方又通過網(wǎng)絡(luò)直播開始線下“約架”，在一個(gè)半小時(shí)內(nèi)，吸引7.8萬人次圍觀，造成惡劣社會(huì)影響。

鄭州市公安局鄭東新區(qū)分局商務(wù)區(qū)派出所教導(dǎo)員 徐航：當(dāng)時(shí)總點(diǎn)擊量有十幾萬，因?yàn)樗麄冮_播時(shí)間不長(zhǎng)，一個(gè)多小時(shí)，刷禮物大概有2000多元錢。我們進(jìn)直播間的時(shí)候看到當(dāng)時(shí)同時(shí)在線就有8000多人，在網(wǎng)絡(luò)上影響是非常不好的。

在這起案件中，除了兩名網(wǎng)絡(luò)主播外，還有8名男子參與，他們當(dāng)中年齡最大的29歲，最小的19歲。目前，10名嫌疑人因涉嫌尋釁滋事被警方依法采取刑事強(qiáng)制措施。

鄭州市公安局網(wǎng)監(jiān)支隊(duì)民警 張效仆：他們這種為了博取流量、漲粉獲利的無底線惡意炒作行為嚴(yán)重?cái)_亂社會(huì)秩序，破壞網(wǎng)絡(luò)環(huán)境，影響青少年的價(jià)值觀，必須堅(jiān)決依法打擊。在此我們要提醒網(wǎng)絡(luò)主播，網(wǎng)絡(luò)空間不是法外之地，作為網(wǎng)絡(luò)主播應(yīng)當(dāng)以身作則，去積極地傳播正能量，利用自身的正面影響力，來引導(dǎo)粉絲形成正確的價(jià)值觀，無底線的惡意炒作博取流量，最終會(huì)自食其果。

法學(xué)專家：平臺(tái)應(yīng)履行相應(yīng)監(jiān)管責(zé)任

不管是利用AI編造駭人聽聞的虛假消息，還是直播對(duì)罵，目的都是賺取平臺(tái)流量補(bǔ)貼，實(shí)現(xiàn)流量變現(xiàn)。法學(xué)專家表示，大量不實(shí)信息對(duì)普通網(wǎng)民來說，有時(shí)候很難直接判斷它是否為謠言，而平臺(tái)對(duì)于相關(guān)信息應(yīng)該盡到監(jiān)管責(zé)任。

01:50

西南政法大學(xué)法學(xué)院教授 陳偉：如果平臺(tái)盡不了這個(gè)責(zé)任，對(duì)社會(huì)公眾來說，篩選尤其困難。相關(guān)的規(guī)定也確立了，平臺(tái)方要履行相應(yīng)的監(jiān)管責(zé)任，以及防范這些不良的信息或者虛假信息上傳到網(wǎng)絡(luò)帶來的后續(xù)性的影響。

有的網(wǎng)絡(luò)平臺(tái)向流量高的內(nèi)容和用戶支付報(bào)酬，在某種程度上會(huì)刺激一些想要賺錢的網(wǎng)絡(luò)用戶，去發(fā)布一些虛假信息。法學(xué)專家表示，平臺(tái)在刺激創(chuàng)作的同時(shí)，也應(yīng)該盡到更多的責(zé)任去消除虛假信息的傳播。

西南政法大學(xué)法學(xué)院教授 陳偉：報(bào)酬的支付里面，也要行使到積極的引導(dǎo)性作用，不應(yīng)該通過發(fā)布虛假信息提升流量。這些散布者一旦出現(xiàn)，對(duì)他的相關(guān)的懲罰機(jī)制，或者對(duì)他的事后相關(guān)的警示、封號(hào)等這樣一些方式，都應(yīng)該考慮到。

造謠容易，辟謠難。造謠者付出的代價(jià)是否太低，導(dǎo)致謠言不斷滋生？法律專家建議，在法律法規(guī)上應(yīng)該讓造謠者付出更大的成本。

西南政法大學(xué)法學(xué)院教授 陳偉：要體現(xiàn)出違法性的成本的體現(xiàn)。在行政處罰里面不光涉及行政拘留，也還涉及行政性的罰款等，還包括對(duì)賬號(hào)采取的封號(hào)等這樣一些措施，我們都要及時(shí)性地跟進(jìn)，以匹配違法成本和最終承擔(dān)責(zé)任之間的比例，以防范其他人會(huì)看到這樣一個(gè)成本過低，會(huì)帶來對(duì)行為人的遏制作用很有限的情形。