Chuyển đến nội dung chính

​
Tổng quan

Ngoài platform semantic cache của LemonData, nhiều nhà cung cấp AI cũng cung cấp tính năng prompt caching của riêng họ. Đây là một cơ chế caching riêng biệt hoạt động ở cấp độ nhà cung cấp (Anthropic, OpenAI, DeepSeek, v.v.).
Hai loại Caching
LoạiVị tríCách hoạt độngChi phí
Platform CacheLemonDataKhớp nối tương đồng ngữ nghĩa10% giá thường
Provider CacheUpstream (Anthropic/OpenAI/v.v.)Khớp nối tiền tố chính xácGiá token ưu đãi
Hai loại này loại trừ lẫn nhau: nếu platform cache khớp (hit), sẽ không có cuộc gọi upstream nào được thực hiện, do đó provider cache sẽ không được áp dụng.

​
Cách Provider Prompt Cache hoạt động

Provider prompt caching lưu trữ biểu diễn đã xử lý của tiền tố prompt trên máy chủ của nhà cung cấp. Khi bạn gửi một yêu cầu với cùng một tiền tố, nhà cung cấp có thể bỏ qua việc xử lý lại các token đó.

​
Các đặc điểm chính

  • Dựa trên tiền tố: Chỉ phần đầu của prompt mới có thể được cache
  • Khớp chính xác: Yêu cầu các token phải giống hệt nhau (không phải tương đồng ngữ nghĩa)
  • Giới hạn thời gian: Các mục cache sẽ hết hạn (thường từ 5-60 phút)
  • Tự động: Không cần cấu hình đặc biệt
Yêu cầu 1: [System prompt + Context A + Question 1]
           ^^^^^^^^^^^^^^^^^^^^^^^^
           Tiền tố này sẽ được cache

Yêu cầu 2: [System prompt + Context A + Question 2]
           ^^^^^^^^^^^^^^^^^^^^^^^^
           Khớp cache! Chỉ Question 2 được xử lý

​
Các nhà cung cấp được hỗ trợ

Nhà cung cấpGiảm giá đọc CacheChi phí ghi CacheToken tối thiểu
AnthropicGiảm 90%Phụ phí 25%1024
OpenAIGiảm 50%Bằng giá đầu vào1024
DeepSeekGiảm 90%Bằng giá đầu vào64
GoogleGiảm 75%Phụ phí 25%32768
Các mức giảm giá được áp dụng tự động. LemonData chuyển tiếp mức giá cache của nhà cung cấp trực tiếp đến bạn.

​
Xác định việc sử dụng Cache

​
Trong Nhật ký sử dụng (Usage Logs)

Nhật ký sử dụng của bạn hiển thị chi tiết phân bổ token cache:
TrườngMô tả
cacheReadTokensCác token được cung cấp từ provider cache (được giảm giá)
cacheWriteTokensCác token được ghi vào cache (cho các yêu cầu trong tương lai)
nonCachedPromptTokensCác token được xử lý mà không có cache

​
Trong Giao dịch (Transactions)

Các giao dịch hiển thị nhãn Provider Cache khi caching upstream được sử dụng:
  • Cache (xanh da trời): Khớp platform semantic cache - giảm 90%
  • Provider Cache (xanh mòng két): Khớp upstream prompt cache - mức giá ưu đãi

​
Ví dụ tính toán chi phí

Ví dụ cho một yêu cầu với 10,000 token đầu vào đến Claude (Anthropic): Không có cache: 
10,000 tokens × $3.00/1M = $0.030
Có provider cache (8,000 được cache + 2,000 mới): 
Đọc cache:  8,000 tokens × $0.30/1M = $0.0024  (Giảm 90%)
Ghi cache: 2,000 tokens × $3.75/1M = $0.0075
Tổng cộng: $0.0099 (Tiết kiệm 67%)

​
Thực hành tốt nhất

Đặt system prompt và ngữ cảnh tĩnh của bạn ở đầu tin nhắn. Điều này giúp tối đa hóa khả năng khớp cache.
Gửi các yêu cầu có cùng tiền tố gần nhau về mặt thời gian để tận dụng cache trước khi nó hết hạn.
Đảm bảo tiền tố có thể cache của bạn đáp ứng mức tối thiểu của nhà cung cấp (ví dụ: 1024 token cho Anthropic/OpenAI).
Kiểm tra số liệu thống kê sử dụng trên dashboard để biết tỷ lệ khớp cache và mức tiết kiệm.

​
Platform Cache so với Provider Cache

Khía cạnhPlatform CacheProvider Cache
Khớp nốiTương đồng ngữ nghĩaKhớp tiền tố chính xác
Chi phí10% giá thườngMức giá ưu đãi
Độ trễTức thì (~1ms)Được giảm bớt (bỏ qua xử lý)
Kiểm soátCài đặt trên DashboardTự động
Phạm viGiữa các người dùng (tùy chọn)Theo từng API key

​
Khi nào mỗi loại được áp dụng

Yêu cầu đến
    │
    ▼
┌─────────────────────┐
│ Khớp Platform Cache?│
└─────────────────────┘
    │ Có               │ Không
    ▼                  ▼
┌─────────┐    ┌─────────────────────┐
│ Trả về  │    │ Gọi Upstream API    │
│ Cache   │    └─────────────────────┘
│ (10%)   │            │
└─────────┘            ▼
               ┌─────────────────────┐
               │ Khớp Provider Cache?│
               └─────────────────────┘
                   │ Có         │ Không
                   ▼            ▼
               Giá Token     Giá Token
               ưu đãi        đầy đủ

​
Kiểm tra trạng thái Cache

​
Response Headers

X-Cache-Status: HIT           # Khớp platform cache
X-Cache-Status: MISS          # Không có platform cache
X-Upstream-Cache-Read: 8000   # Token đọc từ provider cache
X-Upstream-Cache-Write: 2000  # Token ghi vào provider cache

​
Usage API

Truy vấn nhật ký sử dụng của bạn để xem phân bổ cache: 
curl https://api.lemondata.cc/v1/usage/logs \
  -H "Authorization: Bearer sk-your-key" \
  -H "Content-Type: application/json"
Phản hồi bao gồm: 
{
  "promptTokens": 10000,
  "cacheReadTokens": 8000,
  "cacheWriteTokens": 2000,
  "nonCachedPromptTokens": 0,
  "completionTokens": 500,
  "cost": 0.0099
}

​
FAQ

Provider caching là tự động và không thể tắt. Tuy nhiên, nó chỉ mang lại lợi ích cho bạn (chi phí thấp hơn), vì vậy không có lý do gì để tắt nó.
Các lý do phổ biến:
  • Tiền tố đã thay đổi (thậm chí chỉ khác biệt một token)
  • Cache đã hết hạn (thường từ 5-60 phút)
  • Tiền tố quá ngắn (dưới mức token tối thiểu)
  • Sử dụng API key khác
Có! Khi sử dụng API key của riêng bạn (BYOK), provider caching hoạt động theo cùng một cách. Cache được gắn liền với API key upstream của bạn.
  1. Sử dụng platform semantic cache cho các truy vấn tương tự lặp lại
  2. Cấu trúc prompt với nội dung tĩnh ở trước
  3. Giữ system prompt nhất quán giữa các yêu cầu
  4. Gửi các yêu cầu liên quan liên tiếp nhau một cách nhanh chóng