在當前的 AI 領域，Cache Hit Rate（快取命中率）已不再僅僅是後端開發的專有名詞，它已成為衡量大語言模型（LLM）應用效率、成本控制與反應速度的最核心指標之一。

什麼是 Cache Hit Rate？

在 API 呼叫的脈絡下，Cache Hit Rate 指的是模型在處理請求時，能夠直接從快取中讀取「已計算過的前綴（Prefix）」的比例。其計算方式如下：

Cache Hit Rate = 快取讀取 Token 數 / (快取讀取 Token 數 + 快取寫入 Token 數 + 一般輸入 Token 數)

當命中率越高，代表模型重複運算的次數越少，整體的執行效率也就越高。

為什麼快取命中率如此重要？

Cache Hit Rate 對於生產環境中的 AI 應用有三大直接影響：

• 成本大幅下降：快取讀取的費用通常遠低於原始輸入；以某些供應商為例，快取讀取僅需原價的 10%；如果命中率從 90% 降至 70%，整體的運算成本幾乎會翻倍。
• 回應速度提升：跳過重複的預運算過程可以顯著減少首字反應時間（TTFT），尤其在 Context（上下文）越長的情況下，提速感越明顯。
• 配額（Quota）保護：高命中率能減少 Token 的淨消耗，避免開發者或訂閱用戶在短時間內觸發服務上限。

在頂尖的 AI 開發團隊中，Cache Hit Rate 被視為與系統「可用性（Uptime）」同等重要的核心指標，一旦命中率異常過低，便會觸發告警機制進行排查。

常見的快取破壞行為

要維持高命中率，必須避免以下幾種會導致快取失效的行為：

• 頻繁切換模型：快取通常無法跨模型共用。
• 超過 TTL（生存時間）：快取具有時效性，若閒置時間過長，快取將被自動清除。
• 內容擾動：修改 System Prompt、AGENTS/CLAUDE.md 或變動 Tool 定義的順序，都會導致前綴無法匹配，必須重新建立快取。
• 工作節奏不連貫：長時間的閒置（Idle）會導致重建成本增加。

對於一個穩定運行的 AI Session，90% 的快取命中率 是理想的健康標準；如果長期低於 70%，開發者就應重新檢視提示詞（Prompt）的結構順序或快取生存時間的設定。

總結來說，優化 Cache Hit Rate 是 AI 效能優化的第一步；選擇合適的供應商並養成良好的 Context 管理習慣，不僅能省下巨額的預算，更能為用戶提供更流暢的使用體驗。