Chuyển đến nội dung chính

Tổng quan

LiteLLM và LemonData thường kết hợp theo hai cách.
  • dùng LemonData làm upstream OpenAI-compatible phía sau LiteLLM
  • đặt LiteLLM phía trước LemonData để xử lý virtual key, routing bổ sung hoặc observability tập trung
Với LemonData, đường mặc định gọn nhất là dùng chế độ custom OpenAI / OpenAI-compatible của LiteLLM với api_base = https://api.lemondata.cc/v1.
Nếu bạn thực sự cần request shape Claude-native hoặc Gemini-native, hãy ưu tiên các tích hợp native của LemonData thay vì ép các luồng đó đi qua lớp trừu tượng OpenAI-compatible của LiteLLM.
Loại: Framework hoặc nền tảngĐường chính: upstream tương thích OpenAIMức hỗ trợ: Đường được hỗ trợ

Cài đặt

pip install 'litellm[proxy]'

Cấu hình proxy

model_list:
  - model_name: lemondata-gpt-5.4
    litellm_params:
      model: custom_openai/gpt-5.4
      api_base: https://api.lemondata.cc/v1
      api_key: os.environ/OPENAI_API_KEY
Khởi động:
export OPENAI_API_KEY="sk-your-lemondata-key"
litellm --config litellm-config.yaml --port 4000

Thực tiễn tốt nhất

  • Hãy coi LemonData trước hết là upstream custom_openai
  • Chỉ đặt LiteLLM phía trước khi bạn thực sự cần thêm một lớp gateway
  • Đừng mặc định kỳ vọng mọi chi tiết provider-native đều có trên đường OpenAI-compatible