AI 的普及速度超過以往任何技術。 最初只有幾個大型模型和供應商，現在已經發展成為一個龐大的開源和商業AI 模型生態系統，每個模型都有自己的優勢和風險。 由於有數百萬種模型可供選擇，採用AI 的企業需要透明的風險洞察，準確顯示每種模型會對他們的環境造成哪些威脅。
在F5 收購CalypsoAI 後，我們很高興推出綜合AI 安全指數(CASI) 排行榜，為AI 和GRC 領導者深入分析最主流AI 模型的風險組成。 CalypsoAI 成立於2018 年，始終引領AI 安全研究，建立了業界最大之一的AI 漏洞庫，並每月新增超過10,000 條攻擊提示，持續更新。 基於此，排行榜測試全面評估基礎模型與AI 系統的安全狀況，並專注於最受歡迎及客戶實際部署的模型。
CASI 測試是如何進行的？
我們開發這些工具，旨在滿足您選擇可投入生產模型的業務需求，協助CISO 和應用開發人員將安全置於首位。 排行榜精準切入AI 領域的核心，凝練出五個關鍵指標，解答複雜的模型安全問題：
- CASI 分數-衡量模型整體安全性的一個綜合指標（方法見下文）。
- 主動抵禦評分(ARS) –評估模型在多大程度上能破壞整個AI 系統。 我們讓一支自主攻擊代理團隊進行模擬攻擊，他們具備攻擊系統、提取資訊並攻破基礎設施的能力。 這支代理團隊能夠從向量儲存中提取敏感個人數據，分析系統架構，並根據明確指令測試模型的對齊程度。
- 性能-我們根據MMLU、GPQA、MATH 和HumanEval 等主流基準測試了模型的平均表現。
- 風險與效能比(RTP) –幫助您權衡模型的安全性與效能。
- 安全成本(CoS) –當前推理成本與模型的CASI 相比，衡量安全措施帶來的財務影響。
CASI 分數是什麼，它為何重要？
CASI 是一項指標，旨在回答一個複雜的問題：“我的模型究竟有多安全？”。 CASI 分數越高，表示模型或應用越安全。 雖然許多針對模型的攻擊或紅隊測試研究都依賴攻擊成功率（ASR），但這項指標往往忽略了各次攻擊影響的差異。 傳統的ASR 把所有攻擊一視同仁，這存在誤導性。 舉例來說，破解自行車鎖的攻擊，絕不應等同於攻破核彈發射密碼的行為。 同樣地，在AI 領域，一個小型且不安全的模型可能會被簡單地透過申請敏感資訊輕易攻破，而較大模型則可能需要採用自主且協調的智慧代理攻擊者等複雜手段，才能被破壞其一致性。 CASI 就透過區分簡單與複雜攻擊，明確模型的防禦斷點（DBP）－也就是攻擊者成功攻擊所需付出的最小阻力路徑與最低運算資源，從而精準反映這一細微差別。
主體抗性評分(ARS)： 超越CASI 的模型壓力測試
標準的AI 漏洞掃描為模型安全提供了基礎視角，但只能初步揭示AI 系統在真實攻擊下的表現。
為填補這一個空白，我們運用F5 AI Red Team，一項先進的紅隊技術，可調動眾多自主AI代理，模擬一支持續、高效的智慧威脅分析師團隊。 這些代理程式不斷探測、學習與調整，發動多步驟攻擊，揭示靜態測試常忽略的關鍵漏洞。
我們透過嚴密的測試流程，得出一個ARS，以0到100的評分標準，量化評估AI 系統的防禦能力。 ARS越高，表示系統需要更複雜、持久且具備更豐富資訊的攻擊者才能攻破它。 這個可以進行基準比較的分數，來自複雜的攻擊場景分析，涵蓋三個關鍵類別的計算：
- 所需複雜度–攻擊者需要具備怎樣的智慧水準才能突破AI 防護？ 系統能否抵禦高階自訂攻擊，還是會被簡單常見的攻擊擊敗？
- 防禦持久力－您的AI 系統能在持續且適應性的攻擊下保持多久的安全？ 它會在幾次互動後崩潰，還是能穩固抵禦不斷演進的攻擊？
- 反情報－AI 是否無意中助長了攻擊者？ 我們透過此項指標判斷失敗的攻擊是否洩漏了關鍵情報，例如透露了過濾機制的細節，從而無意中為未來攻擊指引了路徑。
目前有哪些最新趨勢？
F5 Labs 團隊對我們在九月測試中觀察到的最新趨勢進行了深入分析。 想全面了解不斷增長的技術、漏洞和攻擊手法，請每月關注我們的更新，隨時掌握AI 安全的最新動態。
跟上AI 模型的發展趨勢
AI 攻擊面將持續演變，F5 致力於為您提供關鍵洞察，幫助您順利調整AI 安全策略。 任何新技術都會帶來一定程度的風險，AI 也是如此，風險不會為零。 實現全面AI 安全的第一步，是明確風險所在。隨著AI 模型格局不斷變化，CASI 排行榜將持續幫助您加深理解。
文章來源：F5