Fluent AI HK
← 返回文章列表

Claude 拒絕回答代表甚麼?分清 AI 的能力、許可與可靠性

AI 拒絕執行,不一定代表它不懂;願意回答,也不代表結果正確。從 Claude 的安全存取安排及測試數字,學習分辨能力、許可與可靠性,並核對第三方評估能支持甚麼結論。

Claude 是 Anthropic 開發的 AI 助手,可用於文字及程式碼工作。按其網絡安全核實計劃(CVP)說明,一般可用模型能協助審查程式碼、修補已知問題,以及初步整理安全警報;部分網絡安全操作則會受到攔截。

CVP 是供符合資格的安全專業人員申請的存取安排,不是另一款聊天模型。它讓我們看見:AI 的任務結果,除了受能力影響,也受安全設定限制。初學者可以由此學懂怎樣閱讀工具介紹和測試數字。

先分清三個問題

能力:它懂得怎樣做嗎? 例如,能否理解一段程式碼,指出疑似漏洞及修補方向。

許可:系統容許它執行嗎? 找出漏洞既可幫助修補,也可能方便攻擊。官方因此為不同工作範圍設置不同安全限制。

可靠性:結果經得起核對嗎? 即使模型交出修補建議,仍要檢查建議是否正確、有沒有引入新問題。

這是三個判斷角度,不是所有 AI 產品固定採用的內部流程。單看一次拒答,無法確定模型是否缺乏能力;單看一次回答,也無法證明內容可靠。平台容許操作,亦不等於使用者已取得目標系統的授權。

以請 AI 提出程式碼修補建議為例,這是教學框架。 拒答不能單獨證明缺乏能力;交出答案亦不能單獨證明可靠。不是產品內部流程圖。
能力、許可、可靠性:三件事分開問。拒答不能單獨證明缺乏能力;交出答案亦不能單獨證明可靠。不是產品內部流程圖。

三種用途,各有必要條件

以下是根據官方工作範圍設計的示範,並非本文實測。

檢查自己管理的程式碼。 開發人員可請 Claude 標示疑似問題,解釋原因,提出修補建議。產物是供人檢查的草案,不能直接當成安全證明。

整理安全警報。 團隊可讓模型歸納警報內容,列出仍欠缺的資料,再交人員判斷。開始前要確認機構容許處理哪些資料,移除密碼及存取憑證。

進行獲授權的滲透測試。 即模擬攻擊者尋找系統弱點。官方列出的 Red Team Access涵蓋這類工作,但原文明示該級別只限機構,並要求測試對象已獲授權;可能造成實體傷害或大規模中斷的操作仍會受到攔截。

一般讀者毋須為理解概念而申請 CVP。它是專業安全工作的存取計劃,不能當作所有 Claude 帳戶都具備的功能。

「50 次測試」不是 50 種工作

按已取得的官方測試說明,Anthropic 使用 Claude Opus 5.5,在不同 CVP 安全設定下進行 CyScenarioBench 評估。這套評估要求模型在指定限制下,規劃和執行多個步驟的網絡操作。

每個存取級別有十項挑戰,每項嘗試五次,合共五十次。公司報告:沒有 CVP 存取資格時,所有任務都在第一個提示被攔截;Defense Access 設定下,五十次中有四十六次在過程中被攔截,其餘四次成功。

閱讀時要保留兩個分別。第一,五十次包含重複挑戰,不能說成測過五十種不同工作。第二,「被攔截」描述安全限制介入,不能直接改寫成「模型答錯」。

這組結果支持不同安全設定會影響這些任務的執行情況。它不能代表 Claude 整體的準確率,也不能預測你整理文件時的成功率。數字由 Anthropic 報告,本文沒有重做測試。

Anthropic 報告:Claude Opus 5.5/CyScenarioBench/Defense Access。 原創數字解讀圖。來源:Anthropic CVP 公告;非 Fluent AI HK 重做測試。
10 項挑戰 × 每項 5 次=50 次嘗試。原創數字解讀圖。來源:Anthropic CVP 公告;非 Fluent AI HK 重做測試。

第三方參與,仍要看實際報告

Anthropic 在獨立評估者說明中表示,已向非牟利評估機構 METR 的一個團隊提供接近內部風險評估團隊的存取權。

同一說明亦交代限制:部分資料不開放;Anthropic 不能否決發表,但可要求刪減預先界定的保密資料,並由公司判定資料是否屬於相關類別。

因此,閱讀「有第三方評估」時,要再找評估者實際發表的報告,查看測了甚麼、能接觸哪些資料,以及結論有哪些限制。這份合作安排說明,本身不足以證明前述 CVP 數字已獲獨立驗證。

動手練習:把一句宣傳拆成證據

打開前面的 CVP 來源,找到 Defense Access 的測試段落,寫下四項資料:

  1. 誰測試? Anthropic,而非本文作者。
  2. 測甚麼? 十項多步驟網絡挑戰,每項嘗試五次。
  3. 甚麼條件? Claude Opus 5.5,以及指定安全設定。
  4. 不能推出甚麼? 日常工作的整體準確率或拒答比例。

職場上收到「這款 AI 表現很好」的介紹,也可用相同方法要求補充證據。例如採購前評估文件摘要工具,應先找與文件摘要相關的測試,再用已知答案、可公開的小段文字試行,逐項核對遺漏及錯誤。這是本文建議的評估方法,不是 CVP 的測試程序。

當任務失敗時,先記錄它是拒絕執行、缺少資料,還是交出錯誤結果。把問題記清楚,才較容易決定下一步應補資料、調整工作範圍,還是改用其他方法。

想由日常任務開始練習判斷工具、清楚提問及核實結果,可閱讀 Fluent AI HK 的免費十二章 AI 課程。本文核對日期:2026年10月30日;沒有聲稱本公司重做上述安全測試。

一起討論

社群

登入後分享你的做法或問題;留言經審核後公開。

登入後留言