✨ アップストリームプロンプトキャッシュ

Request 1: [System prompt + Context A + Question 1]
           ^^^^^^^^^^^^^^^^^^^^^^^^
           このプレフィックスがキャッシュされる

Request 2: [System prompt + Context A + Question 2]
           ^^^^^^^^^^^^^^^^^^^^^^^^
           キャッシュヒット！ Question 2 のみが処理される

10,000 tokens × $3.00/1M = $0.030

キャッシュ読み取り： 8,000 tokens × $0.30/1M = $0.0024  (90%オフ)
キャッシュ書き込み： 2,000 tokens × $3.75/1M = $0.0075
合計： $0.0099 (67%の節約)

リクエスト到着
    │
    ▼
┌──────────────────────────┐
│ プラットフォームキャッシュヒット？ │
└──────────────────────────┘
    │ はい              │ いいえ
    ▼                  ▼
┌─────────┐    ┌──────────────────────────┐
│ キャッシュを │    │ アップストリームAPIを呼び出す │
│ 返す      │    └──────────────────────────┘
│ (10%)   │            │
└─────────┘            ▼
               ┌──────────────────────────┐
               │ プロバイダーキャッシュヒット？ │
               └──────────────────────────┘
                   │ はい        │ いいえ
                   ▼            ▼
               割引トークン    通常トークン
               レート         レート

X-Cache-Status: HIT           # プラットフォームキャッシュヒット
X-Cache-Status: MISS          # プラットフォームキャッシュなし
X-Upstream-Cache-Read: 8000   # プロバイダーキャッシュ読み取りトークン
X-Upstream-Cache-Write: 2000  # プロバイダーキャッシュ書き込みトークン

curl https://api.lemondata.cc/v1/usage/logs \
  -H "Authorization: Bearer sk-your-key" \
  -H "Content-Type: application/json"

{
  "promptTokens": 10000,
  "cacheReadTokens": 8000,
  "cacheWriteTokens": 2000,
  "nonCachedPromptTokens": 0,
  "completionTokens": 500,
  "cost": 0.0099
}