每經(jīng)記者｜可楊    每經(jīng)編輯｜董興生    

今年央視“3·15”晚會(huì)，將一個(gè)此前只在AI行業(yè)內(nèi)部流傳的概念——GEO（生成式引擎優(yōu)化）——推入公眾視野。

調(diào)查顯示，一些GEO服務(wù)商聲稱，只要持續(xù)發(fā)布推廣軟文并向AI模型“投喂”相關(guān)內(nèi)容，就可以讓客戶產(chǎn)品出現(xiàn)在大模型推薦答案中，甚至成為AI給出的“標(biāo)準(zhǔn)答案”。

隨著生成式AI逐漸取代傳統(tǒng)搜索成為新的信息入口，圍繞“操控AI答案”的產(chǎn)業(yè)開始迅速生長(zhǎng)。GEO究竟是搜索優(yōu)化的延伸，還是一種新的信息干預(yù)機(jī)制？當(dāng)AI成為新的流量入口，互聯(lián)網(wǎng)的信息規(guī)則是否正在被重新書寫？

近日，中國(guó)信通院人工智能研究所安全治理部副主任呼娜英在接受《每日經(jīng)濟(jì)新聞》記者（以下簡(jiǎn)稱NBD）采訪時(shí)表示，GEO的出現(xiàn)幾乎是技術(shù)發(fā)展的必然結(jié)果，但當(dāng)優(yōu)化行為突破合理邊界，通過堆量、投喂甚至誤導(dǎo)模型來影響輸出時(shí)，它就可能演變?yōu)橐环N新的信息干預(yù)機(jī)制。如果缺乏治理框架，甚至可能對(duì)生成式AI的知識(shí)體系造成長(zhǎng)期污染。

中國(guó)信通院人工智能研究所安全治理部副主任呼娜英 圖片來源：受訪者供圖

談亂象：當(dāng)GEO行為突破合理邊界，輸出內(nèi)容就會(huì)被操縱

NBD：最近GEO受到高度關(guān)注，但市場(chǎng)行為非?；靵y。從產(chǎn)業(yè)治理角度，怎么理解GEO的出現(xiàn)？

呼娜英：在生成式AI服務(wù)作為搜索入口的新時(shí)代，GEO的產(chǎn)生自然而然，是技術(shù)發(fā)展的產(chǎn)物。和所有新興技術(shù)一樣，GEO技術(shù)是一把雙刃劍。GEO兼具搜索優(yōu)化延伸與信息干預(yù)雙重屬性，當(dāng)GEO行為突破合理的內(nèi)容優(yōu)化邊界，通過堆量、投喂甚至誤導(dǎo)模型的方式干預(yù)生成式AI的內(nèi)容輸出結(jié)果時(shí)，就演變成了主動(dòng)的信息干預(yù)機(jī)制。

NBD：為什么GEO這種非核心技術(shù)的服務(wù)，反而成為治理風(fēng)險(xiǎn)的高發(fā)區(qū)？

呼娜英：三個(gè)原因。

一是流量入口轉(zhuǎn)移。人們使用AI搜索的流量不斷提升，導(dǎo)致AI成為新的流量入口，也就成為新的利益敞口。GEO能讓產(chǎn)品內(nèi)容出現(xiàn)在AI反饋中，是其受到廣泛關(guān)注的核心原因。

二是缺乏規(guī)范引導(dǎo)。GEO作為新興市場(chǎng)行為，尚未形成統(tǒng)一的行業(yè)標(biāo)準(zhǔn)和行為邊界，市場(chǎng)主體為追求短期利益極易突破合規(guī)底線。

三是技術(shù)門檻低。GEO無需像傳統(tǒng)技術(shù)領(lǐng)域那樣突破核心技術(shù)壁壘，低門檻的操作方式使其快速普及，而通過污染語料、數(shù)據(jù)投喂等方式干預(yù)模型輸出的行為具有較強(qiáng)隱蔽性，難以被及時(shí)識(shí)別。

談風(fēng)險(xiǎn)：語料污染破壞性不可逆，惡意GEO將“驅(qū)逐良幣”

NBD：如果說傳統(tǒng)SEO（搜索引擎優(yōu)化）影響的是點(diǎn)不點(diǎn)擊，那么GEO影響的就是看到什么答案。這種變化是否意味著風(fēng)險(xiǎn)級(jí)別發(fā)生了變化？

呼娜英：在生成式AI剛風(fēng)靡時(shí)，就有調(diào)查顯示AI寫的內(nèi)容比真人的更讓人信服。生成式AI以“智能回答”形式輸出內(nèi)容，相較于傳統(tǒng)搜索的結(jié)果列表，一方面，呈現(xiàn)形式更具專業(yè)性和權(quán)威性，用戶容易形成生成結(jié)果是事實(shí)的認(rèn)知；另一方面，生成式AI會(huì)對(duì)信息進(jìn)行整合加工，將信息包裝成邏輯連貫的內(nèi)容，降低了用戶的辨別難度，進(jìn)而提升了用戶對(duì)錯(cuò)誤信息的信任度。

NBD：這種風(fēng)險(xiǎn)的緊迫性有多高？如果不治理會(huì)發(fā)生什么？

呼娜英：從風(fēng)險(xiǎn)緊迫性看，非常高。當(dāng)前生成式AI已快速滲透到金融、醫(yī)療、教育、政務(wù)等民生和關(guān)鍵領(lǐng)域，這些領(lǐng)域?qū)π畔⒄鎸?shí)性的要求極高。

當(dāng)前GEO主要用于商品廣告，但GEO引發(fā)的錯(cuò)誤信息輸出可能直接導(dǎo)致用戶財(cái)產(chǎn)損失、人身安全受威脅，甚至引發(fā)市場(chǎng)波動(dòng)、社會(huì)認(rèn)知偏差等公共問題。同時(shí)，語料污染具有“記憶殘留”和“遞歸污染”的特性，虛假信息一旦進(jìn)入模型語料庫，即便原始信源被刪除，仍會(huì)持續(xù)污染后續(xù)的模型輸出，且錯(cuò)誤信息會(huì)逐代累積，若不及時(shí)治理，將對(duì)生成式AI的知識(shí)體系造成不可逆的破壞。

NBD：目前GEO市場(chǎng)中存在大量堆量、投喂甚至誤導(dǎo)模型的操作，這種行為是否會(huì)出現(xiàn)“劣幣驅(qū)逐良幣”？

呼娜英：這類行為極易引發(fā)劣幣驅(qū)逐良幣的行業(yè)困境。

一方面，合規(guī)經(jīng)營(yíng)的GEO服務(wù)者，其合理的優(yōu)化行為成本高于惡意操縱者，在短期市場(chǎng)競(jìng)爭(zhēng)中易處于劣勢(shì)；另一方面，優(yōu)質(zhì)的原創(chuàng)內(nèi)容和真實(shí)信息會(huì)被惡意GEO提供者制造的“數(shù)據(jù)垃圾”湮沒，導(dǎo)致優(yōu)質(zhì)內(nèi)容生產(chǎn)者的積極性受挫，最終形成“劣幣驅(qū)逐良幣”的惡性循環(huán)，破壞整個(gè)數(shù)字內(nèi)容生態(tài)和生成式AI產(chǎn)業(yè)的健康發(fā)展。

為倡導(dǎo)GEO服務(wù)企業(yè)主動(dòng)踐行承諾，強(qiáng)化數(shù)據(jù)全流程治理，推動(dòng)生成式人工智能服務(wù)安全、可信、健康發(fā)展，人工智能產(chǎn)業(yè)聯(lián)盟（AIIA）發(fā)起了《人工智能安全承諾：生成式引擎優(yōu)化（GEO）專項(xiàng)》?；诖耍劳蠥IIA安全治理委員會(huì)，由中國(guó)信息通信研究院牽頭，聯(lián)合GEO相關(guān)企業(yè)，編制了《生成式引擎優(yōu)化（GEO）服務(wù)可信基本要求》技術(shù)規(guī)范，并已啟動(dòng)了首輪測(cè)評(píng)工作。

談責(zé)任邊界：誰該為“有毒”的語料負(fù)責(zé)？

NBD：GEO帶來的問題是更接近廣告合規(guī)，還是生成式AI安全？

呼娜英：GEO帶來的問題是跨領(lǐng)域的復(fù)合型風(fēng)險(xiǎn)。目前，很多GEO應(yīng)用在廣告營(yíng)銷方面，部分GEO行為本質(zhì)上是一種良性的、新型的商業(yè)推廣行為，但通過虛假信息進(jìn)行商業(yè)宣傳，涉及廣告法等相關(guān)合規(guī)問題。

從GEO技術(shù)的長(zhǎng)遠(yuǎn)應(yīng)用來看，GEO的不當(dāng)操作直接指向生成式AI的數(shù)據(jù)安全、模型安全和內(nèi)容安全。其通過語料污染、數(shù)據(jù)投毒等方式破壞模型的知識(shí)體系，引發(fā)模型輸出偏差，屬于生成式AI安全治理的核心范疇。且其帶來的風(fēng)險(xiǎn)遠(yuǎn)超傳統(tǒng)廣告合規(guī)問題，能夠影響到整個(gè)互聯(lián)網(wǎng)的信息內(nèi)容安全，也會(huì)對(duì)生成式AI產(chǎn)業(yè)的底層生態(tài)造成破壞。

NBD：很多GEO服務(wù)商宣稱自己只是內(nèi)容優(yōu)化，不涉及模型。這種說法在治理視角下成立嗎？

呼娜英：不成立。即便GEO服務(wù)商未直接接觸模型底層算法，但其通過內(nèi)容投喂、語料污染等方式間接干預(yù)模型的輸出結(jié)果，與模型輸出存在直接的因果關(guān)系，屬于對(duì)模型使用環(huán)節(jié)的干預(yù)，不能以“不涉及模型”為由規(guī)避責(zé)任。

這類中介角色目前存在一定的監(jiān)管盲區(qū)，其行為跨內(nèi)容制作、數(shù)據(jù)傳播、模型應(yīng)用多個(gè)環(huán)節(jié)，現(xiàn)有監(jiān)管規(guī)則對(duì)這類間接干預(yù)模型的行為覆蓋不足，且其操作的隱蔽性進(jìn)一步加大了監(jiān)管難度，也是當(dāng)前GEO治理的重點(diǎn)和難點(diǎn)。

NBD：在責(zé)任劃分上，如果模型被投喂錯(cuò)誤信息，模型方是否需要承擔(dān)結(jié)果責(zé)任？

呼娜英：模型方并非無條件承擔(dān)結(jié)果責(zé)任，需根據(jù)其是否履行技術(shù)防控和數(shù)據(jù)審核的相關(guān)義務(wù)進(jìn)行判定。模型方需要按照法律法規(guī)和行業(yè)標(biāo)準(zhǔn)，建立完善的語料審核、數(shù)據(jù)清洗、異常檢測(cè)機(jī)制，采取必要的技術(shù)手段防范語料污染和惡意投喂，且在發(fā)現(xiàn)模型被污染后及時(shí)采取整改措施。同時(shí)，模型方需持續(xù)提升“毒數(shù)據(jù)”識(shí)別、過濾和溯源能力，筑牢技術(shù)防線。

NBD：平臺(tái)方是否有義務(wù)對(duì)有明顯操縱性的GEO行為進(jìn)行治理？

呼娜英：平臺(tái)方有明確的責(zé)任和義務(wù)對(duì)有明顯操縱性的GEO行為進(jìn)行治理。作為生成式AI服務(wù)的運(yùn)營(yíng)載體，平臺(tái)方是連接模型方、GEO服務(wù)商、用戶的關(guān)鍵節(jié)點(diǎn)，需承擔(dān)內(nèi)容管理和風(fēng)險(xiǎn)防控的主體責(zé)任。具體而言，一是建立健全GEO行為的監(jiān)測(cè)和識(shí)別機(jī)制，及時(shí)發(fā)現(xiàn)堆量投喂、數(shù)據(jù)投毒等明顯的操縱性GEO行為；二是對(duì)發(fā)現(xiàn)的不當(dāng)GEO行為采取限流、下架、屏蔽等處置措施，阻斷其對(duì)模型的污染路徑；三是建立GEO服務(wù)商的準(zhǔn)入和管理機(jī)制，對(duì)違規(guī)服務(wù)商進(jìn)行懲戒；四是配合監(jiān)管部門開展溯源和調(diào)查工作，落實(shí)信息披露和用戶提示義務(wù)。

談可信AI：安全是一場(chǎng)動(dòng)態(tài)博弈

NBD：這兩年可信AI幾乎成為行業(yè)共識(shí)，但真正落地到評(píng)估測(cè)試層面，難度似乎遠(yuǎn)超預(yù)期。目前難點(diǎn)主要在哪里？

呼娜英：核心難點(diǎn)來自三個(gè)維度。

技術(shù)發(fā)展快，評(píng)估評(píng)測(cè)指標(biāo)需要?jiǎng)討B(tài)發(fā)展。AI技術(shù)，特別是大模型，迭代速度非?？?。今天有效的安全護(hù)欄，明天可能就被新攻擊方式繞過或突破。

另一個(gè)是基準(zhǔn)測(cè)試分散，體系化共建有待加強(qiáng)。多元主體在探索基準(zhǔn)測(cè)試，但如何將這些碎片化的單點(diǎn)評(píng)測(cè)整合成一個(gè)體系化的可信AI評(píng)估體系，讓產(chǎn)業(yè)界能在同一個(gè)坐標(biāo)系里對(duì)話，是產(chǎn)業(yè)成熟度提升的關(guān)鍵。

更深層的是垂類場(chǎng)景評(píng)測(cè)不足，專業(yè)數(shù)據(jù)集和指標(biāo)構(gòu)建難度大。通用模型評(píng)測(cè)相對(duì)成熟，但落到金融、醫(yī)療等垂直領(lǐng)域，構(gòu)建專業(yè)測(cè)試數(shù)據(jù)集不僅成本高，更需要行業(yè)知識(shí)沉淀。

還有一個(gè)底層難題是指標(biāo)量化難。有些風(fēng)險(xiǎn)是定性的，比如“公平性”，很難用一個(gè)簡(jiǎn)單的公式或數(shù)據(jù)來衡量。再比如模型幻覺，不僅要測(cè)幻覺發(fā)生概率，也要測(cè)幻覺的危害程度，這種危害性的量化分級(jí)，目前仍是很大的挑戰(zhàn)。

NBD：很多企業(yè)傾向于做合規(guī)聲明，只要聲明了“安全、合規(guī)”，是否就能規(guī)避系統(tǒng)性風(fēng)險(xiǎn)？

呼娜英：企業(yè)主動(dòng)進(jìn)行自我聲明，是落實(shí)主體責(zé)任、主動(dòng)合規(guī)的表現(xiàn)，這是值得鼓勵(lì)的。但僅靠自我聲明，缺乏獨(dú)立驗(yàn)證，存在不可忽視的風(fēng)險(xiǎn)。

第一，它容易產(chǎn)生“劣幣驅(qū)逐良幣”，嚴(yán)謹(jǐn)做測(cè)試的企業(yè)成本高，而只做宣傳的企業(yè)可能更占優(yōu)勢(shì)。第二，容易造成“道德洗白”，比如聲明合規(guī)的企業(yè)將存在問題的系統(tǒng)包裝成安全可靠的假象。一旦出現(xiàn)安全事故，僅依賴單純的聲明無法提供有效證明。

NBD：哪些風(fēng)險(xiǎn)是事前很難被企業(yè)自行發(fā)現(xiàn)的？

呼娜英：模型方面，除了對(duì)抗攻擊，還需要關(guān)注欺騙性對(duì)齊等新型風(fēng)險(xiǎn)。模型可能在訓(xùn)練中學(xué)會(huì)了“諂媚”，對(duì)評(píng)估者遵從但并非真正遵循指令。只有通過持續(xù)的紅隊(duì)測(cè)試和對(duì)抗性交互，才能發(fā)現(xiàn)它在壓力環(huán)境下是否會(huì)出現(xiàn)策略性作弊或欺騙行為。

數(shù)據(jù)方面，靜態(tài)評(píng)估很難發(fā)現(xiàn)隨用戶交互產(chǎn)生的數(shù)據(jù)投毒或提示詞注入攻擊。更重要的是，持續(xù)監(jiān)測(cè)能及時(shí)發(fā)現(xiàn)模型是否在對(duì)話中無意泄露了訓(xùn)練數(shù)據(jù)，或者在微調(diào)過程中，新引入的數(shù)據(jù)是否導(dǎo)致了模型行為的意外偏移。

應(yīng)用層面，隨著智能體的興起，評(píng)估需要從模型本身擴(kuò)展到“模型、工具、環(huán)境”的整個(gè)系統(tǒng)。比如OpenClaw中，一個(gè)看似無害的指令，可能導(dǎo)致智能體調(diào)用不該調(diào)用的API（應(yīng)用程序編程接口），引發(fā)物理世界的風(fēng)險(xiǎn)。只有通過持續(xù)監(jiān)測(cè)其工具調(diào)用鏈，才能發(fā)現(xiàn)這些異常模式。