原標(biāo)題:守護(hù)數(shù)智時(shí)代網(wǎng)絡(luò)安全
當(dāng)前,以ChatGPT、DeepSeek為代表的大語(yǔ)言模型(LLM)技術(shù)正加速重構(gòu)全球產(chǎn)業(yè)格局。截至2025年,我國(guó)生成式人工智能大模型備案數(shù)量已突破300個(gè),LLM技術(shù)已深度嵌入企業(yè)核心業(yè)務(wù)場(chǎng)景。然而,技術(shù)紅利背后潛藏著網(wǎng)絡(luò)安全范式變革——傳統(tǒng)基于規(guī)則和特征的防護(hù)體系,正面臨人工智能賦能的復(fù)合型風(fēng)險(xiǎn)挑戰(zhàn)。大語(yǔ)言模型應(yīng)用使企業(yè)網(wǎng)絡(luò)安全威脅呈現(xiàn)三大躍遷:其一,攻擊維度升級(jí),深度偽造語(yǔ)音、人工智能驅(qū)動(dòng)的釣魚(yú)郵件等新型社會(huì)工程攻擊,突破傳統(tǒng)網(wǎng)絡(luò)邊界防御邏輯;其二,數(shù)據(jù)風(fēng)險(xiǎn)泛化,LLM訓(xùn)練數(shù)據(jù)中潛藏的敏感信息可能通過(guò)逆向工程泄露;其三,供應(yīng)鏈威脅加劇,LLM技術(shù)棧深度依賴(lài)開(kāi)源框架和預(yù)訓(xùn)練模型庫(kù),第三方API接口和模型權(quán)重中的隱蔽后門(mén)正成為關(guān)鍵基礎(chǔ)設(shè)施的安全盲區(qū)。
隨著大語(yǔ)言模型在各行業(yè)深度應(yīng)用,其網(wǎng)絡(luò)安全風(fēng)險(xiǎn)治理已成為數(shù)字化轉(zhuǎn)型過(guò)程中的關(guān)鍵議題。相較于傳統(tǒng)網(wǎng)絡(luò)安全風(fēng)險(xiǎn),LLM特有的算法黑箱性、數(shù)據(jù)關(guān)聯(lián)性和技術(shù)依賴(lài)性特征,使得其風(fēng)險(xiǎn)治理呈現(xiàn)高度復(fù)雜性與動(dòng)態(tài)演化特點(diǎn)。面對(duì)大語(yǔ)言模型帶來(lái)的新興風(fēng)險(xiǎn),企業(yè)亟須構(gòu)建系統(tǒng)化應(yīng)對(duì)策略。特別是作為關(guān)鍵信息基礎(chǔ)設(shè)施運(yùn)營(yíng)主體的國(guó)有企業(yè),建立健全大語(yǔ)言模型網(wǎng)絡(luò)安全風(fēng)險(xiǎn)識(shí)別與治理機(jī)制,既是保障業(yè)務(wù)安全的現(xiàn)實(shí)需求,也是保障國(guó)有資產(chǎn)安全的必然選擇。
中核武漢核電運(yùn)行技術(shù)股份有限公司“華龍一號(hào)”全范圍模擬機(jī)。
大語(yǔ)言模型應(yīng)用帶來(lái)的新興網(wǎng)絡(luò)安全風(fēng)險(xiǎn)
技術(shù)內(nèi)生性風(fēng)險(xiǎn)在于數(shù)據(jù)泄露與模型失控。大語(yǔ)言模型的技術(shù)架構(gòu)特性具有多重安全隱患。首先,模型訓(xùn)練依賴(lài)海量數(shù)據(jù)導(dǎo)致敏感信息泄露風(fēng)險(xiǎn)增加。這種“訓(xùn)練數(shù)據(jù)提取攻擊”在企業(yè)私有化部署場(chǎng)景中尤為危險(xiǎn),因?yàn)橛?xùn)練數(shù)據(jù)往往包含商業(yè)機(jī)密和用戶(hù)隱私信息。其次,模型接口安全構(gòu)成另一重威脅。攻擊者或利用API令牌漏洞獲取部分用戶(hù)模型訪問(wèn)權(quán)限,暴露LLM服務(wù)架構(gòu)中的安全斷層。更為嚴(yán)峻的是模型本身的“黑箱”特性導(dǎo)致其行為不可預(yù)測(cè)。在自動(dòng)化運(yùn)維中,模型不確定性可能導(dǎo)致生成未授權(quán)的數(shù)據(jù)訪問(wèn)命令,若企業(yè)將此類(lèi)輸出用于調(diào)整防火墻策略或調(diào)用內(nèi)部API,就可能觸發(fā)權(quán)限提升或數(shù)據(jù)泄露風(fēng)險(xiǎn)。
業(yè)務(wù)場(chǎng)景化風(fēng)險(xiǎn)在于智能化轉(zhuǎn)型中的安全塌陷。在企業(yè)數(shù)字化轉(zhuǎn)型實(shí)踐中,大模型技術(shù)與業(yè)務(wù)場(chǎng)景的深度融合催生了多重新型攻擊面。首先,在客服系統(tǒng)中,“越獄”攻擊正在威脅企業(yè)數(shù)據(jù)安全。在客服等交互場(chǎng)景中,用戶(hù)可通過(guò)特定提示詞序列誘導(dǎo)模型泄露系統(tǒng)指令或執(zhí)行未授權(quán)操作,這種威脅正在持續(xù)進(jìn)化,有學(xué)者提出的“雙意圖逃逸”攻擊在多款模型上實(shí)現(xiàn)高隱蔽性越獄。其次,在決策支持系統(tǒng)中,大語(yǔ)言模型的生成不可控性與對(duì)抗性樣本并存。有研究表明L-AutoDA方法能在不知模型內(nèi)部概率分布的條件下快速構(gòu)造有效擾動(dòng),提升在圖像與文本決策任務(wù)中的攻擊成功率。最后,攻擊者可通過(guò)“鏈?zhǔn)教崾咀⑷?rdquo;植入惡意指令,誘導(dǎo)模型執(zhí)行多步未授權(quán)操作。
治理結(jié)構(gòu)性風(fēng)險(xiǎn)在于制度滯后與生態(tài)失衡。現(xiàn)有網(wǎng)絡(luò)安全治理體系與LLM技術(shù)的快速演進(jìn)之間存在斷層。我國(guó)《生成式人工智能服務(wù)管理暫行辦法》與網(wǎng)絡(luò)安全法、數(shù)據(jù)安全法等法律框架的銜接仍存在挑戰(zhàn),使企業(yè)在部署LLM應(yīng)用時(shí)面臨合規(guī)不確定性。國(guó)際治理格局的碎片化進(jìn)一步加劇了合規(guī)困境。2023年12月歐盟出臺(tái)的《人工智能法案》將基礎(chǔ)模型列為“高風(fēng)險(xiǎn)應(yīng)用”并設(shè)置了嚴(yán)格的合規(guī)要求,而我國(guó)的監(jiān)管框架更強(qiáng)調(diào)內(nèi)容安全和數(shù)據(jù)主權(quán)。這種標(biāo)準(zhǔn)差異導(dǎo)致跨國(guó)企業(yè)的人工智能戰(zhàn)略部署面臨多重合規(guī)挑戰(zhàn)。更深層次的挑戰(zhàn)在于技術(shù)生態(tài)的失衡。目前,LLM底層框架和硬件平臺(tái)仍嚴(yán)重依賴(lài)海外技術(shù)棧,國(guó)產(chǎn)化替代進(jìn)程相對(duì)緩慢,導(dǎo)致關(guān)鍵領(lǐng)域受制于人。
中核武漢核電運(yùn)行技術(shù)股份有限公司福建分公司CCTV檢驗(yàn)班組開(kāi)展漳州核電2號(hào)機(jī)組穩(wěn)壓器及堆內(nèi)構(gòu)件役前檢查工作。
大語(yǔ)言模型網(wǎng)絡(luò)安全風(fēng)險(xiǎn)應(yīng)對(duì)關(guān)鍵舉措
針對(duì)大語(yǔ)言模型深度應(yīng)用帶來(lái)的網(wǎng)絡(luò)安全風(fēng)險(xiǎn),需從多個(gè)角度采取應(yīng)對(duì)關(guān)鍵舉措,形成覆蓋技術(shù)層、管理層、生態(tài)層的風(fēng)險(xiǎn)應(yīng)對(duì)矩陣,確保大語(yǔ)言模型在安全可控的前提下釋放技術(shù)紅利,助力數(shù)字經(jīng)濟(jì)健康發(fā)展。
升級(jí)技術(shù)防御體系
動(dòng)態(tài)數(shù)據(jù)脫敏與訪問(wèn)控制。針對(duì)大語(yǔ)言模型訓(xùn)練和應(yīng)用過(guò)程中的數(shù)據(jù)泄露風(fēng)險(xiǎn),企業(yè)應(yīng)構(gòu)建基于敏感信息識(shí)別的實(shí)時(shí)遮蔽方案,通過(guò)語(yǔ)義分析對(duì)輸入輸出內(nèi)容進(jìn)行動(dòng)態(tài)脫敏。建立多層次訪問(wèn)控制機(jī)制,基于用戶(hù)角色、場(chǎng)景屬性和數(shù)據(jù)敏感級(jí)別,實(shí)施差異化訪問(wèn)權(quán)限管理,防范訓(xùn)練數(shù)據(jù)提取攻擊。
智能威脅感知與響應(yīng)。企業(yè)應(yīng)整合威脅情報(bào)與人工智能異常檢測(cè)能力,構(gòu)建新一代人工智能安全運(yùn)營(yíng)中心(SOC)平臺(tái)。該平臺(tái)需具備對(duì)大模型應(yīng)用特有攻擊模式的識(shí)別能力,包括提示詞注入、模型越獄和參數(shù)操縱等。通過(guò)引入防護(hù)框架實(shí)現(xiàn)對(duì)模型輸入輸出的全方位監(jiān)控,攔截惡意提示詞。
模型行為審計(jì)與追溯。構(gòu)建完善的日志審計(jì)機(jī)制,實(shí)現(xiàn)對(duì)模型全生命周期的行為監(jiān)控和追溯。記錄模型訓(xùn)練、調(diào)用和響應(yīng)的完整過(guò)程,包括數(shù)據(jù)來(lái)源、參數(shù)調(diào)整、輸入輸出內(nèi)容和用戶(hù)操作等關(guān)鍵信息。這種透明性不僅有助于安全事件的快速響應(yīng),還能支持合規(guī)要求的滿(mǎn)足。建立模型行為回溯系統(tǒng),支持在安全事件發(fā)生后快速定位問(wèn)題根源,識(shí)別攻擊路徑和影響范圍。這一機(jī)制能有效應(yīng)對(duì)如抱抱臉(Hugging Face)平臺(tái)API令牌漏洞等安全事件,提高事件響應(yīng)效率和精準(zhǔn)度。
優(yōu)化管理體系
建立全生命周期風(fēng)險(xiǎn)管理。企業(yè)應(yīng)建立覆蓋模型訓(xùn)練、部署、運(yùn)維和退役的閉環(huán)管控流程。在訓(xùn)練階段,實(shí)施嚴(yán)格的數(shù)據(jù)來(lái)源合規(guī)審查,確保訓(xùn)練數(shù)據(jù)的合法性和安全性;建立訓(xùn)練數(shù)據(jù)標(biāo)注安全規(guī)范,防止有害信息進(jìn)入模型知識(shí)庫(kù)。在部署階段,強(qiáng)化模型安全測(cè)試,通過(guò)對(duì)抗樣本測(cè)試驗(yàn)證模型防御能力;實(shí)施部署環(huán)境安全加固,防范外部攻擊。
明確“三位一體”責(zé)任機(jī)制。明確開(kāi)發(fā)者、運(yùn)維者和使用者的分級(jí)責(zé)任制,構(gòu)建多層次安全防護(hù)體系。模型開(kāi)發(fā)者負(fù)責(zé)安全算法設(shè)計(jì)和代碼審查;運(yùn)維者負(fù)責(zé)部署環(huán)境安全和運(yùn)行監(jiān)控;使用者負(fù)責(zé)合規(guī)使用和異常報(bào)告。通過(guò)責(zé)任明確和協(xié)同配合,形成全方位的安全防護(hù)網(wǎng)絡(luò)。
組織常態(tài)化攻防演練。通過(guò)紅藍(lán)對(duì)抗檢驗(yàn)防御體系有效性,發(fā)現(xiàn)并修復(fù)潛在安全漏洞。企業(yè)應(yīng)定期組織針對(duì)大模型應(yīng)用的專(zhuān)項(xiàng)安全演練,模擬各類(lèi)攻擊場(chǎng)景,如提示詞注入、模型越獄等。
落實(shí)法規(guī)與生態(tài)協(xié)同
落實(shí)數(shù)據(jù)分類(lèi)分級(jí)與跨境審查。嚴(yán)格落實(shí)數(shù)據(jù)安全法等法規(guī)要求,建立大模型數(shù)據(jù)分類(lèi)分級(jí)管理體系。針對(duì)跨境數(shù)據(jù)流動(dòng),建立嚴(yán)格的審查機(jī)制,確保符合《生成式人工智能服務(wù)管理暫行辦法》中關(guān)于數(shù)據(jù)安全的規(guī)定。同時(shí),加強(qiáng)對(duì)模型輸出的合規(guī)審查,確保生成內(nèi)容符合法律法規(guī)要求,避免因違規(guī)內(nèi)容生成而面臨合規(guī)風(fēng)險(xiǎn)。
完善供應(yīng)鏈安全管理。強(qiáng)化第三方服務(wù)商安全評(píng)估與準(zhǔn)入機(jī)制,防范供應(yīng)鏈攻擊風(fēng)險(xiǎn)。建立供應(yīng)商安全評(píng)估體系,從技術(shù)能力、安全措施和合規(guī)狀況等維度,對(duì)提供大模型相關(guān)產(chǎn)品和服務(wù)的供應(yīng)商進(jìn)行全面評(píng)估。
開(kāi)發(fā)國(guó)產(chǎn)化替代與可信技術(shù)應(yīng)用。針對(duì)技術(shù)生態(tài)失衡問(wèn)題,企業(yè)應(yīng)積極推進(jìn)自主可控技術(shù)在關(guān)鍵系統(tǒng)的部署,降低對(duì)國(guó)外技術(shù)的依賴(lài)。優(yōu)先選用自主可控的LLM框架和工具,加強(qiáng)與國(guó)內(nèi)技術(shù)提供商的合作,共同提升產(chǎn)品安全性和可靠性。對(duì)于必須使用的國(guó)外技術(shù),實(shí)施嚴(yán)格的安全隔離和監(jiān)控措施。此外,企業(yè)應(yīng)建立國(guó)產(chǎn)化技術(shù)評(píng)估機(jī)制,定期評(píng)估國(guó)產(chǎn)替代方案的成熟度和適用性,制定分階段的國(guó)產(chǎn)化替代路線圖。國(guó)家工業(yè)信息安全發(fā)展研究中心發(fā)布的《工業(yè)控制系統(tǒng)信息安全解決方案》提供了實(shí)施技術(shù)自主可控的有效框架,可指導(dǎo)企業(yè)系統(tǒng)性推進(jìn)技術(shù)國(guó)產(chǎn)化進(jìn)程。
跨境合規(guī)與國(guó)際協(xié)同。面對(duì)國(guó)際治理格局碎片化的挑戰(zhàn),企業(yè)應(yīng)建立適應(yīng)多區(qū)域監(jiān)管要求的合規(guī)管理框架。針對(duì)我國(guó)相關(guān)規(guī)定和歐盟《人工智能法案》,采用“合規(guī)即代碼”方法,將監(jiān)管要求轉(zhuǎn)化為可執(zhí)行的技術(shù)控制措施,實(shí)現(xiàn)合規(guī)管理的自動(dòng)化和精準(zhǔn)化。同時(shí),積極參與國(guó)際人工智能治理標(biāo)準(zhǔn)制定,提升我國(guó)在全球人工智能治理體系中的話語(yǔ)權(quán),推動(dòng)形成更加包容、平衡的國(guó)際規(guī)則。
中核武漢核電運(yùn)行技術(shù)股份有限公司辦公樓外景。
構(gòu)筑數(shù)智時(shí)代的網(wǎng)絡(luò)安全新范式
大語(yǔ)言模型技術(shù)的迅猛發(fā)展為企業(yè)數(shù)字化轉(zhuǎn)型帶來(lái)前所未有的機(jī)遇,同時(shí)也催生了復(fù)雜多變的網(wǎng)絡(luò)安全挑戰(zhàn)。面對(duì)風(fēng)險(xiǎn)交織疊加,企業(yè)需統(tǒng)籌發(fā)展和安全,以“主動(dòng)免疫”理念重構(gòu)防御體系。摒棄傳統(tǒng)被動(dòng)防御思維,將安全防護(hù)前置到技術(shù)研發(fā)和業(yè)務(wù)設(shè)計(jì)環(huán)節(jié),構(gòu)建融合技術(shù)防御、管理優(yōu)化和合規(guī)協(xié)同的立體化安全框架。通過(guò)動(dòng)態(tài)數(shù)據(jù)脫敏、智能威脅感知、全生命周期風(fēng)險(xiǎn)管理等關(guān)鍵舉措,實(shí)現(xiàn)對(duì)新興安全風(fēng)險(xiǎn)的早期識(shí)別和有效應(yīng)對(duì),保障企業(yè)數(shù)字化轉(zhuǎn)型行穩(wěn)致遠(yuǎn)。
與此同時(shí),政府、研究機(jī)構(gòu)、企業(yè)和技術(shù)社區(qū)應(yīng)形成合力,完善法規(guī)、強(qiáng)化技術(shù)攻關(guān)、促進(jìn)經(jīng)驗(yàn)共享,秉持“安全優(yōu)先、創(chuàng)新驅(qū)動(dòng)、開(kāi)放協(xié)同、責(zé)任共擔(dān)”的理念,共同構(gòu)建安全、可靠、可信的人工智能應(yīng)用生態(tài)。通過(guò)凝聚多方智慧,構(gòu)建共治共享的安全生態(tài),在把握大模型技術(shù)創(chuàng)新紅利的同時(shí),有效防范和化解潛在風(fēng)險(xiǎn),為數(shù)字中國(guó)建設(shè)和數(shù)智時(shí)代的高質(zhì)量發(fā)展筑牢安全基石,開(kāi)創(chuàng)大語(yǔ)言模型安全應(yīng)用的新局面。
標(biāo)簽: