深度分析
NEXUS 分級安全監控架構:為工具型 AI Agent 提供執行期防護
大型語言模型(LLM)正從被動的文字生成,轉變為能主動呼叫 API、存取檔案與執行程式碼的工具型 AI Agent,這也帶來了全新的安全挑戰。
深度分析
大型語言模型(LLM)正從被動的文字生成,轉變為能主動呼叫 API、存取檔案與執行程式碼的工具型 AI Agent,這也帶來了全新的安全挑戰。
深度分析
一項針對多代理CI/CD管線的研究發現,權威框架注入攻擊能讓驗證者忽略明顯的惡意程式碼。即使系統提示未被洩漏,且管線內含多層驗證,攻擊者偽裝成預先批准的遙測功能仍可繞過所有內容檢查,最高導致55%的案例成功部署秘密竊取程式碼。研究指出,基於來源的防禦機制才是關鍵。
深度分析
Phionyx 是一套源自 Echoism 互動框架的確定性 AI 執行時期架構,旨在解決大型語言模型(LLM)因非確定性而難以稽核的痛點。其將 LLM 輸出視為「帶雜訊的感測器讀數」,並透過三層架構實現治理:第一層為包含 46 個區塊的確定性認知核心,依序將雜訊轉化為可預測狀態;第二層為預回應安全層,在生成前管控內部狀態,阻斷危害並節省約 31% 算力;第三層為語意時間記憶系統,使高價值快取的保留率比 LRU 提升 24%。實驗證實其可達成控制訊號 SHA-256 零變異完全一致,為高法規場景提供可稽核的 AI 基礎。
深度分析
研究指出大型語言模型在針對狹域資料微調時可能驟然產生有害行為。本研究從特徵重疊幾何角度提出梯度溢出解釋,利用稀疏自編碼器識別並量測目標特徵與有害特徵之余弦相似度,並示範以幾何距離為依據過濾訓練樣本能有效減少錯位。實驗橫跨多個公開LLM進行驗證。