科技行者 5月15日 北京消息：

▲ 圖：Facebook認(rèn)為，要確認(rèn)「惡意圖文」，就需要計(jì)算出“無(wú)害短語(yǔ)”和“無(wú)害圖像”之間的交集函數(shù)。Facebook用人工示例來(lái)說(shuō)明這個(gè)問(wèn)題的本質(zhì)所在。

惡意圖文（Meme，又譯迷因或模因），是一種基于宗教或種族等特征的、用于貶低他人的文字和圖像組合。Facebook認(rèn)為，惡意圖文對(duì)于機(jī)器學(xué)習(xí)程序而言是一個(gè)有趣的挑戰(zhàn)，機(jī)器學(xué)習(xí)在短時(shí)間內(nèi)還找不到完美的解決方法。而Facebook最新研究表明——深度學(xué)習(xí)的人工智能形式在“檢測(cè)”惡意模因的能力方面遠(yuǎn)遠(yuǎn)落后于人類。

Facebook本周公布的一篇題為《惡意模因挑戰(zhàn)：在多模式模因中檢測(cè)仇恨言論（The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes）》的研究論文，文章搜集了網(wǎng)上（包括Facebook上）的10,000個(gè)惡意模因，建了個(gè)示例數(shù)據(jù)集，作者比較了各種最先進(jìn)的深度學(xué)習(xí)模型檢測(cè)及人類檢測(cè)結(jié)果。

論文的主要結(jié)論是：“還有很大的改進(jìn)空間”。作者發(fā)表博文《Hateful Memes Challenge and Data Set》（https://ai.facebook.com/hatefulmemes）概述了這項(xiàng)研究。另外幾個(gè)Facebook研究人員發(fā)表的另一篇博文《AI advances to better detect hate speech》（https://ai.facebook.com/blog/ai-advances-to-better-detect-hate-speech）廣泛地探討了AI檢測(cè)仇恨言論的話題。

他們就這個(gè)有趣的機(jī)器學(xué)習(xí)課題發(fā)表博文，是因?yàn)椤笎阂鈭D文檢測(cè)」只是作者提出的“多模式”學(xué)習(xí)的一個(gè)示例?？茖W(xué)家研究的多模式，就是結(jié)合各種機(jī)器學(xué)習(xí)程序，處理兩種或多種信號(hào)。博文里的例子則是對(duì)文本和圖像的處理。

作者在博文里提到，臭鼬圖片本身沒(méi)什么惡意，文字“喜歡你的味道”本身也沒(méi)有惡意，但將二者結(jié)合起來(lái)就“惡意”了。因此，計(jì)算機(jī)程序不一定能用一個(gè)函數(shù)計(jì)算出文字和圖像的交集函數(shù)，該交集是一種誹謗或其他仇恨言論。

他們做的測(cè)試非常簡(jiǎn)單。作者從不同地方（包括Facebook）收集了100萬(wàn)個(gè)模因樣本，他們移除了任何違反Facebook服務(wù)條款的模因，例如含色情內(nèi)容的模因，結(jié)果剩下162,000個(gè)模因。然后，他們重新將文本復(fù)制到一張新圖片上，重新創(chuàng)建了模因，新圖片來(lái)源是與庫(kù)存圖片授權(quán)公司Getty Images合作獲得的。這樣做是為了消除原始模因創(chuàng)建方式中的特質(zhì)，這種特質(zhì)可能會(huì)扭曲測(cè)試結(jié)果。

然后，他們讓人工審核人員判斷這些模因是否內(nèi)含“惡意”，一旦有多數(shù)人對(duì)同一個(gè)模因意見(jiàn)相同，就留下這個(gè)模因，最后得到10,000個(gè)模因，這10,000個(gè)模因是機(jī)器學(xué)習(xí)的訓(xùn)練和測(cè)試數(shù)據(jù)集。他們還納入了“混雜因素”， 混雜因素指那些意思反過(guò)來(lái)的模因，就是原本是“惡意”的模因，然后轉(zhuǎn)換成“贊賞”或“恭維”的模因。作者寫(xiě)道，這樣做是為了擾亂機(jī)器學(xué)習(xí)系統(tǒng)里可能存在的“偏見(jiàn)”，“偏見(jiàn)”會(huì)令機(jī)器學(xué)習(xí)系統(tǒng)輕松地評(píng)估模因的惡意程度。

文章沒(méi)有列舉模因的實(shí)際例子，文章認(rèn)為這樣做不適合重新定位內(nèi)容，那些希望了解模因的人可以下載數(shù)據(jù)庫(kù)（https://github.com/facebookresearch/mmf/commit/ef04cc2de0cf58e3e31c662ed49f679d876cf9a3）。相反，作者使用的圖文是暗示性復(fù)制品，例如本文上圖里的模因，那個(gè)文本是“喜歡你今天的味道”的臭鼬圖片。

然后，一個(gè)人類“專家”復(fù)核者需猜測(cè)面前每個(gè)模因的惡意度，每個(gè)模因在這里成了該測(cè)試的人類基準(zhǔn)。不同的機(jī)器學(xué)習(xí)計(jì)算機(jī)程序，都必須做同樣的事，計(jì)算惡意度。

人類在估測(cè)“模因”惡意度的平均準(zhǔn)確度得分為84.7（滿分為100），最佳的深度學(xué)習(xí)模型得分僅為64.73。

模因數(shù)據(jù)可以從網(wǎng)絡(luò)下載，是Facebook《模因挑戰(zhàn)賽》用的模因數(shù)據(jù)集，《模因挑戰(zhàn)賽》模因數(shù)據(jù)集有點(diǎn)仿ImageNet數(shù)據(jù)集的意思，ImageNet數(shù)據(jù)集幾年前推動(dòng)了圖像識(shí)別的發(fā)展。Facebook通過(guò)托管在線挑戰(zhàn)的合作公司DrivenData，為參加挑戰(zhàn)賽人士提供了總計(jì)100,000美元的獎(jiǎng)勵(lì)， 一等獎(jiǎng)50,000美元。

Facebook表示，挑戰(zhàn)賽會(huì)是今年NeurIPS AI會(huì)議的挑戰(zhàn)之一。有關(guān)錄入日期等數(shù)據(jù)可從DataDriven的網(wǎng)站上獲得（https://www.drivendata.org/competitions/64/hatefulmemes/?fbclid=IwAR2NFrckKiT9yiQbARrK7AD2g_Cq_HTCm7J-kuOI9PEEfk1YHK3uCq5ILNI）。用于挑戰(zhàn)賽評(píng)估參賽程序的模因示例，是未在模因數(shù)據(jù)集里出現(xiàn)的模因。

文章里提到的測(cè)試?yán)锬壳暗梅肿罡叩哪Ｐ褪荲iLBERT和Visual BERT，ViLBERT是佐治亞理工學(xué)院的Jiasen Lu及其同事是去年提出的（https://arxiv.org/pdf/1908.02265.pdf），ViLBERT模型技術(shù)將視覺(jué)和語(yǔ)言處理結(jié)合在一起；Visual BERT（https://arxiv.org/pdf/1908.03557.pdf）的作者是UCLA的Liunian Harold Li及其同事，也是去年提出的。

▲ 圖：不同的深度學(xué)習(xí)模型計(jì)算模因“惡意”度以及人類估測(cè)“惡意”度的結(jié)果。性能最佳的模型是ViLBERT和Visual BERT，兩個(gè)模型都是基于 “融合”文本和圖像處理開(kāi)發(fā)的。

可以從名字看出來(lái)，兩個(gè)模型都是從谷歌的BERT系統(tǒng)派生出來(lái)的，而B(niǎo)ERT系統(tǒng)則是基于“Transformer”方法進(jìn)行語(yǔ)言建模。Kiela及其Facebook同事在測(cè)試中發(fā)現(xiàn)，在推導(dǎo)一個(gè)模因的惡意度方面，這些視覺(jué)語(yǔ)言聯(lián)合體，比那些只看模因文本的模型要好。例如，與VisualBERT的64.73分相比，純BERT模型的得分僅為59.2。

筆者用電子郵件向文章作者提了幾個(gè)問(wèn)題。其中的一個(gè)問(wèn)題是“人類注釋者是什么人？”，由于文章作者在文中提到了“人類注釋者承擔(dān)了構(gòu)建模因數(shù)據(jù)集及提供基線人類評(píng)分的任務(wù)”。Facebook拒絕置評(píng)。

第二個(gè)問(wèn)題是“Facebook上的仇恨言論問(wèn)題的嚴(yán)重程度”。這項(xiàng)工作的出發(fā)點(diǎn)是利用人工智能清理社交媒體上的仇恨言論，所以就要知道Facebook是不是需要定期刪除仇恨言論，或是到目前為止一共刪了多少仇恨言論，這一點(diǎn)很重要。Facebook也拒絕置評(píng)。

文章的第一作者Kiela倒是回答了筆者提出的幾個(gè)重要技術(shù)問(wèn)題。其中一個(gè)技術(shù)問(wèn)題是，“這些尖端模型（如Visual BERT）要縮小與人類的差距，還缺什么東西？”

Kiela在給筆者的電子郵件里表示，“假若我們知道缺的是什么，要修補(bǔ)人工智能與人類之間的差距就容易了?？偟膩?lái)說(shuō)，我們需要在改進(jìn)多模式的理解和推理方面做工作。”

他表示，“我們知道人工智能基準(zhǔn)在推動(dòng)該領(lǐng)域的發(fā)展可以起重要作用。我們的文章，試圖推動(dòng)該研究方向上更多的工作，以及在我們?nèi)〉玫娜魏芜M(jìn)展時(shí)提供具體的衡量方式。”

筆者還在電郵里問(wèn)到“Facebook在利用現(xiàn)有模型處理仇恨言論方面的進(jìn)展”。Kiela在回郵里表示，F(xiàn)acebook現(xiàn)在用的模型與純文本BERT模型很接近，是Facebook最近發(fā)明的，名為RoBERTa和XLM-R（https://www.zdnet.com/article/facebooks-latest-giant-language-ai-hits-computing-wall-at-500-nvidia-gpus/），兩個(gè)模型都是非常大的自然語(yǔ)言處理程序。Kiela在電郵里強(qiáng)調(diào)，RoBERTa和XLM-R仍然是“單模模型”，因此兩個(gè)模型都是僅處理文本，不是處理圖像的程序，因此，兩個(gè)模型用于處理多模模型時(shí)的性能還存在差距。

筆者還問(wèn)到一些有關(guān)數(shù)據(jù)集的問(wèn)題，那個(gè)數(shù)據(jù)集一開(kāi)始含一百萬(wàn)個(gè)示例模因，最終的數(shù)據(jù)集縮減到10,000個(gè)示例。筆者問(wèn)，為什么是這兩個(gè)數(shù)字？當(dāng)然，兩個(gè)數(shù)字都似乎是任意的，而且數(shù)據(jù)集最后只有10,000個(gè)樣本，似乎很小的數(shù)字。

Kiela在電子郵件中告訴筆者，“我們用了許多圖像縮減到一萬(wàn)個(gè)樣本的數(shù)據(jù)集，這個(gè)故事是要說(shuō)明，我們花了很大的心思設(shè)計(jì)該數(shù)據(jù)集。通常，人工智能數(shù)據(jù)集（尤其是單模人工智能數(shù)據(jù)集）比這個(gè)數(shù)據(jù)集更好一些，因此我們覺(jué)得有必須向人工智能社區(qū)解釋一下，為什么該數(shù)據(jù)集相對(duì)較小。”

Kiela 表示，“原因是我們用了訓(xùn)練有素的注釋者，我們非常謹(jǐn)慎地確保，其他人可以將數(shù)據(jù)集用于研究目的，而且我們對(duì)數(shù)據(jù)集進(jìn)行了大量過(guò)濾處理，以確保數(shù)據(jù)集的高質(zhì)量。”

▲ 圖：Facebook示意圖：組合多種信號(hào)類型進(jìn)行多模式機(jī)器學(xué)習(xí)的說(shuō)明。

由于這項(xiàng)研究強(qiáng)調(diào)“多模式”方法在深度學(xué)習(xí)中的重要性，因此筆者最后問(wèn)了“當(dāng)今哪種模型最能代表這方面未來(lái)的研究方向”。Kiela告訴筆者，朝著ViLBERT及“多模雙變換器”方向看。Facebook的Dhruv Batra和Devi Parikh參與了ViLBERT的研發(fā)。Kiela和同事研發(fā)了多模雙變換器，是去年發(fā)表的（https://arxiv.org/pdf/1909.02950.pdf）。

ViLBERT和其他多模式人工智能程序的示例代碼，可以在Facebook AI的 “ MMF”網(wǎng)站（https://mmf.readthedocs.io/en/latest/）上找到，示例代碼內(nèi)置了各種用PyTorch實(shí)現(xiàn)的功能。

從這里開(kāi)始將如何進(jìn)一步發(fā)展，取決于業(yè)界的科學(xué)家是否覺(jué)得Facebook挑戰(zhàn)有其價(jià)值，以及對(duì)應(yīng)的數(shù)據(jù)集是否足以為引導(dǎo)新方法的開(kāi)發(fā)提高基準(zhǔn)。

Facebook的想法倒是對(duì)到點(diǎn)子上，從總體上解決仇恨言論問(wèn)題需要自動(dòng)化，原因是，靠人類構(gòu)建的數(shù)據(jù)集本身無(wú)法從總體上解決仇恨言論問(wèn)題。

正如Kiela和同事所說(shuō)的那樣，“靠人類檢查每個(gè)數(shù)據(jù)點(diǎn)，無(wú)法應(yīng)付惡意內(nèi)容的處理。”