這項(xiàng)由印度理工學(xué)院巴特那分校的Arijit Maji和Sriparna Saha教授團(tuán)隊(duì)主導(dǎo)的研究發(fā)表于2025年1月，研究成果被收錄在計(jì)算語言學(xué)頂級會議中。這個名為DRISHTIKON的研究項(xiàng)目首次創(chuàng)建了專門針對印度文化的大規(guī)模多模態(tài)多語言AI測試基準(zhǔn)，有興趣深入了解的讀者可以通過論文編號arXiv:2509.19274v1查詢完整論文。

當(dāng)我們使用ChatGPT或其他AI助手時，它們能夠流利地用各種語言對話，看起來非常聰明。但如果你問它們關(guān)于印度某個地區(qū)的傳統(tǒng)節(jié)日服裝，或者某種地方菜肴的文化含義，它們往往會給出錯誤或者過于簡化的答案。這就像一個外國游客雖然會說當(dāng)?shù)卣Z言，但對當(dāng)?shù)匚幕瘏s一知半解。

研究團(tuán)隊(duì)發(fā)現(xiàn)，當(dāng)前的AI系統(tǒng)雖然在語言處理上表現(xiàn)出色，但在理解不同文化的深層內(nèi)涵方面卻存在嚴(yán)重不足。特別是對于像印度這樣文化極其豐富多樣的國家，AI系統(tǒng)經(jīng)常誤解、過度簡化，或者完全忽視那些需要深度文化背景知識才能正確理解的內(nèi)容。這種文化盲區(qū)在教育、醫(yī)療、政府服務(wù)等關(guān)鍵領(lǐng)域可能導(dǎo)致嚴(yán)重的誤導(dǎo)、偏見放大和社會排斥問題。

為了系統(tǒng)性地評估AI在文化理解方面的真實(shí)水平，研究團(tuán)隊(duì)設(shè)計(jì)了一個前所未有的測試系統(tǒng)。這個測試覆蓋了印度所有28個邦和8個聯(lián)邦直轄區(qū)，包含15種印度語言，總共收集了超過64000道配有圖片的多選題。每道題目都像一個小小的文化探險，要求AI不僅要看懂圖片，還要理解其中蘊(yùn)含的文化信息。

一、文化知識的全景掃描

研究團(tuán)隊(duì)首先面臨的挑戰(zhàn)是如何全面而準(zhǔn)確地收集印度的文化知識。他們采用了類似編寫百科全書的方法，從多個權(quán)威來源精心篩選信息。維基百科提供了基礎(chǔ)的百科全書式參考，Ritiriwaz平臺貢獻(xiàn)了深度的文化習(xí)俗分析，Holidify提供了地區(qū)特色見解，谷歌藝術(shù)與文化平臺則提供了高質(zhì)量的視覺資料，印度時報(bào)補(bǔ)充了當(dāng)代文化事件的報(bào)道。

這種多源交叉驗(yàn)證的方法確保了信息的準(zhǔn)確性和全面性。每個文化事實(shí)都需要在至少兩個來源中得到確認(rèn)才能被采納，這就像法庭上需要多個證人證言才能確認(rèn)事實(shí)一樣。研究團(tuán)隊(duì)特別注重避免刻板印象和瑣碎知識，而是專注于那些真正能反映地區(qū)文化特色的重要元素。

在題目設(shè)計(jì)上，團(tuán)隊(duì)采用了一種巧妙的"干擾項(xiàng)"策略。每道題包含一個正確答案和三個錯誤選項(xiàng)，這些錯誤選項(xiàng)被精心設(shè)計(jì)成具有不同程度的迷惑性。有些干擾項(xiàng)在語義上非常接近正確答案，比如來自同一個邦或同一文化類別的其他選項(xiàng)，這樣可以測試AI對細(xì)節(jié)知識的掌握程度。有些干擾項(xiàng)則是基于常見誤解設(shè)計(jì)的，還有一些看起來相關(guān)但實(shí)際上毫不相關(guān)。這種設(shè)計(jì)就像設(shè)置了不同難度的陷阱，能夠精確地測試AI的文化辨識能力。

二、多維度文化分類體系

為了確保測試的系統(tǒng)性和全面性，研究團(tuán)隊(duì)建立了一個動態(tài)的文化分類體系。這個體系涵蓋了印度文化的各個重要方面，每個問題都被標(biāo)注了相應(yīng)的文化屬性。

藝術(shù)類別包括了繪畫、雕塑、傳統(tǒng)工藝和地區(qū)特有的藝術(shù)實(shí)踐。服裝類別涵蓋了傳統(tǒng)服飾、地區(qū)特色服裝，以及在儀式、節(jié)慶或日常生活中穿著的象征性服裝。美食類別包括了食物種類、烹飪方法、地方菜肴，以及表征不同邦或社區(qū)特色的飲食習(xí)俗。

文化常識類別專門測試那些對當(dāng)?shù)厝藖碚f理所當(dāng)然，但需要深度文化背景才能理解的知識。舞蹈和音樂類別涵蓋了古典、民俗和當(dāng)代的舞蹈音樂形式，這些往往與宗教或地區(qū)傳統(tǒng)密切相關(guān)。節(jié)慶類別包括了各種慶典、集市，以及不同地區(qū)和社區(qū)觀察的宗教或季節(jié)性節(jié)日。

歷史類別涵蓋了塑造印度地區(qū)和國家認(rèn)同的歷史人物、事件、時間線或歷史時期。語言類別包括了本土語言、方言、文字和不同邦和地區(qū)的語言實(shí)踐。醫(yī)學(xué)類別專門關(guān)注阿育吠陀、悉達(dá)醫(yī)學(xué)、烏納尼醫(yī)學(xué)等傳統(tǒng)醫(yī)療體系及其文化相關(guān)性。

宗教類別涵蓋了印度主要和次要宗教社區(qū)的宗教符號、儀式、神祇和實(shí)踐。儀式和儀式類別包括了與崇拜、人生重要階段或日常文化宗教觀察相關(guān)的實(shí)踐。體育類別涵蓋了傳統(tǒng)和現(xiàn)代體育、本土游戲，以及地區(qū)流行的體育項(xiàng)目或體育人物。

這種詳細(xì)的分類不僅確保了文化覆蓋的全面性，也為后續(xù)的AI性能分析提供了精確的維度劃分。研究團(tuán)隊(duì)可以清楚地看到AI在哪些文化領(lǐng)域表現(xiàn)較好，在哪些領(lǐng)域還需要改進(jìn)。

三、推理能力的深度測試

為了超越簡單的事實(shí)記憶測試，研究團(tuán)隊(duì)設(shè)計(jì)了三種不同類型的推理題目，每種都像是給AI設(shè)置的不同類型的智力挑戰(zhàn)。

常識文化推理題要求AI運(yùn)用日常文化推理能力，比如理解服裝搭配或食物搭配的文化邏輯。這類題目測試的是AI是否能夠像本地人一樣進(jìn)行直覺性的文化判斷。舉個例子，如果看到一個人穿著特定的傳統(tǒng)服裝，AI能否推斷出這可能與某個特定的節(jié)慶或地區(qū)有關(guān)。

多跳推理題需要AI結(jié)合多個文化要素進(jìn)行邏輯鏈接。比如，從一個舞蹈形式聯(lián)想到其相關(guān)的節(jié)慶，再聯(lián)系到特定的邦。這類題目模擬了真實(shí)文化理解中經(jīng)常需要的連環(huán)推理過程，就像偵探需要把多個線索串聯(lián)起來才能破案一樣。

類比推理題則考驗(yàn)AI的模式識別和抽象思維能力。這類題目要求AI識別不同文化元素之間的相似性模式，比如在不同邦之間找到相似的菜肴或藝術(shù)形式。這種能力對于真正理解文化的普遍性和特殊性至關(guān)重要。

為了確保地區(qū)代表性的平衡，研究團(tuán)隊(duì)從每個地區(qū)選擇了20道題目進(jìn)行推理增強(qiáng)。這個數(shù)量是基于擁有題目最少的地區(qū)確定的，確保了統(tǒng)一的增強(qiáng)標(biāo)準(zhǔn)和平衡的評估。對于題目較多的地區(qū)，團(tuán)隊(duì)采用了分層抽樣方法，確保在服裝、美食、節(jié)慶、遺產(chǎn)等不同文化主題之間保持多樣性，避免偏向某個特定文化方面。

四、15種語言的翻譯挑戰(zhàn)

將測試擴(kuò)展到多語言版本是這項(xiàng)研究的一個重大挑戰(zhàn)，也是其獨(dú)特價值所在。研究團(tuán)隊(duì)需要將所有題目翻譯成14種印度本土語言，包括印地語、孟加拉語、泰米爾語、泰盧固語、馬拉地語、卡納達(dá)語、馬拉雅拉姆語、古吉拉特語、旁遮普語、奧迪亞語、阿薩姆語、烏爾都語、康卡尼語和信德語。

翻譯工作采用了Gemini Pro語言模型，這個選擇基于其在FLORES-200和XTREME-UP基準(zhǔn)測試中展現(xiàn)的優(yōu)秀多語言語義保真度和文化語境化能力。但僅僅依靠機(jī)器翻譯是遠(yuǎn)遠(yuǎn)不夠的，研究團(tuán)隊(duì)建立了一個兩階段的人工驗(yàn)證流程來確保翻譯質(zhì)量。

第一階段，雙語審核員在分層樣本上驗(yàn)證語義一致性、流暢性和對原始問題意圖的忠實(shí)度。第二階段，獨(dú)立的質(zhì)量控制輪次確保審核員間的一致性和文化適宜性。對于那些在目標(biāo)語言中缺乏直接對等詞的術(shù)語，比如地區(qū)特有的食物或藝術(shù)形式，團(tuán)隊(duì)采用了音譯或適應(yīng)性的語境敏感表達(dá)。

這種細(xì)致的翻譯驗(yàn)證過程確保了每種語言版本都能準(zhǔn)確傳達(dá)原始題目的文化內(nèi)涵，而不僅僅是字面意思的轉(zhuǎn)換。這樣，研究團(tuán)隊(duì)最終獲得了一個包含64288個問題-圖像-語言三元組的龐大數(shù)據(jù)集，覆蓋了36個地區(qū)、16個文化主題和多種問題類型。

五、AI模型的全面評估實(shí)驗(yàn)

研究團(tuán)隊(duì)選擇了廣泛的視覺語言模型進(jìn)行測試，這些模型涵蓋了不同的規(guī)模和能力類型，就像組織了一場包含各種選手的大型比賽。

小型開源模型包括SmolVLM-256M-Instruct和InternVL3-1B，這些模型雖然參數(shù)較少，但經(jīng)過精心優(yōu)化。大型模型包括Janus-Pro-7B、Qwen2-VL-7B-Instruct、Llama-4-Scout-17B、LLaVA-1.6-Mistral-7B、InternVL3-14B、Gemma-3-27B-IT和Qwen2.5-Omni-7B，這些模型擁有更多參數(shù)和更強(qiáng)的處理能力。

商業(yè)專有系統(tǒng)以GPT-4o-mini為代表，展現(xiàn)了商業(yè)級AI的最新水平。推理專門化模型如Kimi-VL-A3B-Thinking專門針對復(fù)雜推理任務(wù)進(jìn)行了優(yōu)化。印度本土化模型包括Chitrarth和Maya，這些模型專門針對印度語言和文化進(jìn)行了調(diào)優(yōu)。

實(shí)驗(yàn)采用了統(tǒng)一的評估協(xié)議，圖像分辨率設(shè)置為224×224或更高，最大令牌長度根據(jù)架構(gòu)特定約束設(shè)置。每個模型都使用與其指令調(diào)優(yōu)一致的提示模板，確保公平比較。準(zhǔn)確率被用作主要評估指標(biāo)，反映正確回答多選題的比例。

除了零樣本測試外，研究團(tuán)隊(duì)還設(shè)計(jì)了思維鏈（Chain-of-Thought）提示實(shí)驗(yàn)。這種方法要求AI不僅給出答案，還要展示推理過程，就像學(xué)生不僅要給出答案還要寫出解題步驟一樣。思維鏈提示采用了受經(jīng)典印度認(rèn)識論啟發(fā)的文化根植推理框架，引導(dǎo)模型通過四個不同維度進(jìn)行分析：視覺洞察、文化記憶、邏輯整合和地區(qū)語境化。

六、驚人的發(fā)現(xiàn)：AI的文化理解鴻溝

實(shí)驗(yàn)結(jié)果揭示了當(dāng)前AI系統(tǒng)在文化理解方面的顯著局限性，這些發(fā)現(xiàn)就像在平靜的湖面投下的巨石，激起了對AI文化能力的深刻反思。

在模型規(guī)模與性能的關(guān)系方面，研究發(fā)現(xiàn)了一個令人意外的現(xiàn)象：參數(shù)規(guī)模并不總是性能的決定因素。商業(yè)化的大型語言模型如GPT-4o mini確實(shí)在所有語言和問題類型上都表現(xiàn)出色，這反映了大規(guī)模指令調(diào)優(yōu)和視覺語言對齊的優(yōu)勢。但令人驚訝的是，像Maya這樣專門針對地區(qū)優(yōu)化的相對輕量級模型也展現(xiàn)了競爭性的準(zhǔn)確率，挑戰(zhàn)了"規(guī)模決定一切"的傳統(tǒng)假設(shè)。

更有趣的是，一些小型語言模型如SmolVLM-256M-Instruct和InternVL3-1B經(jīng)常超越了參數(shù)更多的大型模型，在整體準(zhǔn)確率上表現(xiàn)出色。這說明精心的架構(gòu)設(shè)計(jì)和針對性優(yōu)化可能比單純增加參數(shù)更有效。相反，一些高參數(shù)的大型模型如Janus-Pro-7B和LLaVA-1.6-mistral-7B表現(xiàn)波動較大，進(jìn)一步證明參數(shù)規(guī)模本身不足以預(yù)測多語言多模態(tài)任務(wù)的效果。

在語言資源差異方面，研究發(fā)現(xiàn)了明顯的數(shù)字鴻溝。英語仍然是最可靠理解的語言，這符合預(yù)期，因?yàn)榇蠖鄶?shù)模型都以英語為主要訓(xùn)練語言。緊隨其后的是印地語、孟加拉語和馬拉地語，這些語言可能受益于更好的多語言訓(xùn)練語料庫和共同的印度-雅利安語言根源。

然而，像信德語、康卡尼語和卡納達(dá)語這樣的語言持續(xù)面臨最大挑戰(zhàn)，在某些情況下準(zhǔn)確率比英語下降超過40%。這些差異突顯了訓(xùn)練數(shù)據(jù)和文化對齊方面的系統(tǒng)性差距。更令人意外的是，像阿薩姆語和奧迪亞語這樣擁有廣泛使用者基礎(chǔ)的語言也沒有表現(xiàn)出一致的高性能，暗示它們在基礎(chǔ)模型預(yù)訓(xùn)練數(shù)據(jù)集中可能代表不足。

在問題類型難度分析方面，研究發(fā)現(xiàn)AI在不同認(rèn)知任務(wù)上的表現(xiàn)差異顯著。一般問題和常識文化問題獲得了最高的準(zhǔn)確率，表明這些模型在表層理解和文化根植推理方面相對熟練。但當(dāng)涉及多跳推理問題時，準(zhǔn)確率出現(xiàn)了急劇下降，暴露了模型在順序推理和邏輯鏈接方面的局限性。

類比問題顯示了最高的變異性，一些模型在語義相似性明確時表現(xiàn)出色，而其他模型則表現(xiàn)糟糕，反映了對抽象推理的脆弱掌握。這些發(fā)現(xiàn)呼吁進(jìn)一步關(guān)注推理支架和提示設(shè)計(jì)，特別針對關(guān)系和推理理解。

七、思維鏈推理的文化探索

思維鏈提示實(shí)驗(yàn)為理解AI如何處理文化信息提供了深入洞察。研究團(tuán)隊(duì)發(fā)現(xiàn)，思維鏈推理對推理密集型類別如多跳和類比問題最有益，準(zhǔn)確率提升達(dá)10-15%，而常識文化問題只顯示了適度改善。

大型商業(yè)模型如GPT-4o mini在所有問題類型上都能一致受益，而較小的指令調(diào)優(yōu)模型如SmolVLM-256M-Instruct和InternVL3-1B顯示了競爭性收益，有時甚至與更大的開源系統(tǒng)相當(dāng)。這表明精心設(shè)計(jì)的推理提示可以在一定程度上彌補(bǔ)模型規(guī)模的不足。

相比之下，推理專門化模型如Kimi-VL-A3B-Thinking和印度焦點(diǎn)模型如Chitrarth表現(xiàn)出有限或不一致的改善，表明思維鏈在低資源或文化特定設(shè)置中的泛化能力較弱。雖然思維鏈縮小了復(fù)雜任務(wù)上的性能差距，但在類比推理和跨語言差異方面的挑戰(zhàn)仍然存在，高資源語言如印地語和孟加拉語比低資源語言如康卡尼語和信德語受益更多。

這些發(fā)現(xiàn)表明，雖然思維鏈增強(qiáng)了文化根植推理，但其影響因問題類型、模型系列和語言覆蓋而異。未來的研究需要專門針對文化理解和多語言包容性設(shè)計(jì)更加精細(xì)的推理框架。

八、錯誤分析：AI在哪里"翻車"

為了深入理解AI模型的失誤模式，研究團(tuán)隊(duì)對GPT-4o-mini這個表現(xiàn)最佳的模型進(jìn)行了詳細(xì)的錯誤分析。這些錯誤案例就像顯微鏡下的細(xì)胞樣本，揭示了AI文化理解的根本問題。

在歷史領(lǐng)袖識別方面，當(dāng)被問及一幅描繪部落騎兵起義的圖像中的杰出領(lǐng)袖是誰時，模型錯誤地選擇了Sidho和Kanho Murmu，而正確答案是Budhu Bhagat。模型可能將騎馬的部落戰(zhàn)士視覺效果與更廣為人知的Sidho和Kanho Murmu領(lǐng)導(dǎo)的桑塔爾起義聯(lián)系起來，而不是Budhu Bhagat領(lǐng)導(dǎo)的科爾起義。鑒于兩次起義都有著主題相似性——部落抵抗、傳統(tǒng)服飾和武裝起義——模型似乎依賴于表面的視覺模式和某些領(lǐng)袖的知名度，而不是基于歷史特殊性或地區(qū)線索來確定答案。

在文化舞蹈形式分類方面，當(dāng)被問及一個獨(dú)特的將武術(shù)與韻律動作結(jié)合的舞蹈形式起源于哪個印度邦時，模型錯誤地預(yù)測為奧迪沙，而正確答案是恰爾肯德。模型可能將這種舞蹈與奧迪沙的"Paika"舞蹈混淆了，后者同樣涉及武器并在視覺上可比較。然而，正確答案是恰爾肯德的"Paika Akhara"。這種混淆可能源于地區(qū)武術(shù)舞蹈之間的視覺和主題重疊，以及模型對訓(xùn)練數(shù)據(jù)中更廣泛記錄或引用的傳統(tǒng)的偏向。

在部落藝術(shù)形式識別方面，當(dāng)被問及圖像中描繪的繪畫作品起源于哪個邦時，模型錯誤地將起源識別為古吉拉特，而正確答案是恰爾肯德。模型可能將Paitkar繪畫風(fēng)格與更全球認(rèn)知的民間藝術(shù)如Warli或Pithora混淆了。正確答案是恰爾肯德，那里出現(xiàn)了被認(rèn)為是印度最早卷軸繪畫傳統(tǒng)之一的Paitkar藝術(shù)形式。這種錯誤分類可能源于模型在預(yù)訓(xùn)練數(shù)據(jù)中對來自印度東部的部落藝術(shù)形式接觸不足。

在文化地標(biāo)位置識別方面，盡管圖像中有清晰的英語和印地語標(biāo)識指示現(xiàn)代藝術(shù)國家畫廊，模型錯誤地將其與孟買聯(lián)系起來，而正確答案是德里。這種混淆可能源于孟買和班加羅爾都有NGMA分支機(jī)構(gòu)，然而，總部和最具標(biāo)志性的建筑位于新德里。模型未能區(qū)分德里分支機(jī)構(gòu)獨(dú)特的建筑和環(huán)境。

這些錯誤分析揭示了AI系統(tǒng)的幾個根本問題：對詞匯線索的過度依賴而非對上下文的全面理解，特別是在文化細(xì)致的問題中；在需要準(zhǔn)確解釋的地方對視覺基礎(chǔ)的差距，特別是需要更深地區(qū)或文化知識的地方；細(xì)致的語義混淆，特別是當(dāng)干擾選項(xiàng)在語義上接近正確答案時。

九、區(qū)域和文化表現(xiàn)的深度解析

通過雷達(dá)圖分析，研究團(tuán)隊(duì)發(fā)現(xiàn)了AI模型在不同文化屬性和地理錨定知識上的表現(xiàn)模式。表現(xiàn)出廣泛且均勻徑向覆蓋的模型顯示出視覺和語言模態(tài)之間的強(qiáng)大對齊，這可能源于接觸多樣化、多模態(tài)訓(xùn)練數(shù)據(jù)。它們的平滑輪廓反映了跨具體文化元素（如服裝、美食和節(jié)慶）和更細(xì)致屬性（如語言、遺產(chǎn)或環(huán)境）進(jìn)行泛化的能力。

相比之下，具有鋸齒狀或收縮輪廓的模型揭示了文化基礎(chǔ)方面的差距，特別是對于抽象或上下文依賴概念如宗教、夜生活或醫(yī)學(xué)，這些需要更深的社會文化和推理推理。

在印度各邦的模型準(zhǔn)確率雷達(dá)圖中，具有強(qiáng)大媒體存在或獨(dú)特文化特征的邦，如喀拉拉邦、古吉拉特邦和西孟加拉邦，顯示出更高且更一致的性能，暗示了代表性在預(yù)訓(xùn)練語料庫中的作用。同時，較小或代表性較少的地區(qū)如拉克沙群島、米佐拉姆和達(dá)德拉和納加爾哈維利的準(zhǔn)確率較低，暴露了地理偏見和不均衡的地區(qū)學(xué)習(xí)。

值得注意的是，即使是表現(xiàn)最佳的模型也在各邦之間顯示波動，強(qiáng)調(diào)了捕獲印度文化和語言多樣性的持續(xù)挑戰(zhàn)。這些雷達(dá)圖不僅揭示了性能差異，還揭示了隱藏的弱點(diǎn)，強(qiáng)化了對文化包容、地理平衡的微調(diào)需求，以確保公平且上下文感知的多模態(tài)理解。

十、對未來AI發(fā)展的啟示

DRISHTIKON研究揭示了當(dāng)前AI系統(tǒng)在文化理解方面的關(guān)鍵盲區(qū)，這些發(fā)現(xiàn)對未來AI發(fā)展具有重要指導(dǎo)意義。研究表明，即使是最先進(jìn)的商業(yè)模型也在文化細(xì)致任務(wù)上表現(xiàn)出顯著局限性，特別是對低資源語言和欠記錄傳統(tǒng)的理解。

這項(xiàng)研究填補(bǔ)了包容性AI研究中的重要空白，為推進(jìn)文化感知、多模態(tài)能力的語言技術(shù)提供了強(qiáng)大的測試平臺。研究團(tuán)隊(duì)公開發(fā)布了數(shù)據(jù)集和推理代碼，為整個學(xué)術(shù)界和工業(yè)界提供了寶貴的資源。

對于AI開發(fā)者而言，這項(xiàng)研究強(qiáng)調(diào)了需要在訓(xùn)練數(shù)據(jù)中更好地平衡不同文化和語言的代表性。簡單地增加模型參數(shù)并不能解決文化理解問題，需要更加注重?cái)?shù)據(jù)質(zhì)量、文化多樣性和針對性優(yōu)化。

對于AI應(yīng)用領(lǐng)域，特別是教育、醫(yī)療、政府服務(wù)和創(chuàng)意產(chǎn)業(yè)，這項(xiàng)研究提醒我們必須謹(jǐn)慎處理文化敏感內(nèi)容，避免因AI的文化誤解而導(dǎo)致偏見放大和社會排斥。

說到底，DRISHTIKON不僅僅是一個測試基準(zhǔn)，更像是一面鏡子，讓我們看清了當(dāng)前AI系統(tǒng)的真實(shí)文化素養(yǎng)。雖然AI在語言流暢度方面已經(jīng)達(dá)到了令人印象深刻的水平，但在理解人類文化的豐富性和復(fù)雜性方面還有很長的路要走。這項(xiàng)研究為我們指明了方向：未來的AI不僅要會說話，更要懂文化，真正成為能夠理解和尊重人類多樣性的智能助手。

這個研究也讓我們思考一個更深層的問題：我們希望AI成為什么樣的存在？是一個只會機(jī)械回答問題的工具，還是一個能夠理解和尊重不同文化背景的智能伙伴？DRISHTIKON的答案是明確的——我們需要后者，而且現(xiàn)在就要開始努力構(gòu)建這樣的AI。

Q&A

Q1：DRISHTIKON數(shù)據(jù)集包含哪些內(nèi)容？它是如何構(gòu)建的？

A：DRISHTIKON是一個專門測試AI文化理解能力的大規(guī)模數(shù)據(jù)集，包含64288道配有圖片的多選題，覆蓋印度所有28個邦和8個聯(lián)邦直轄區(qū)，支持15種語言。構(gòu)建過程包括從維基百科、文化網(wǎng)站等權(quán)威來源收集文化知識，設(shè)計(jì)帶有巧妙干擾項(xiàng)的多選題，進(jìn)行多語言翻譯和人工驗(yàn)證。每道題都像一個小文化測驗(yàn)，要求AI同時理解圖片和文化背景。

Q2：研究發(fā)現(xiàn)AI在文化理解方面有哪些主要問題？

A：研究發(fā)現(xiàn)AI存在明顯的文化理解鴻溝。首先是語言資源差異，英語表現(xiàn)最好，而信德語、康卡尼語等低資源語言準(zhǔn)確率下降超過40%。其次是推理能力不足，AI在多跳推理和類比問題上表現(xiàn)糟糕。還有地區(qū)偏見問題，知名度高的地區(qū)如喀拉拉邦表現(xiàn)好，而小地區(qū)如拉克沙群島表現(xiàn)差。最重要的是，模型經(jīng)常依賴表面線索而非深度文化理解。

Q3：這項(xiàng)研究對普通人使用AI有什么實(shí)際意義？

A：這項(xiàng)研究提醒我們在使用AI處理文化相關(guān)問題時要格外小心。當(dāng)你詢問AI關(guān)于傳統(tǒng)節(jié)日、地方菜肴、民族服裝等文化內(nèi)容時，要記住它可能給出錯誤或過度簡化的答案，特別是涉及小眾文化或非英語內(nèi)容時。在教育、醫(yī)療等重要領(lǐng)域使用AI時更要謹(jǐn)慎，避免因文化誤解造成問題。同時，這個研究為開發(fā)更好的文化智能AI奠定了基礎(chǔ)，未來我們有望看到真正理解多元文化的AI助手。