اتصال LiteLLM به پیکو هوش

LiteLLM یک لایه‌ی یکپارچه برای صدا زدن ده‌ها ارائه‌دهنده با رابط OpenAI است و بسیاری از ابزارها (CrewAI، Aider و ...) در درون خود از آن استفاده می‌کنند. با پیشوند openai/ و پارامتر api_base می‌توانید مدل‌های پیکو هوش را از طریق LiteLLM صدا بزنید، یا پراکسی LiteLLM را جلوی پیکو هوش بگذارید تا کلیدها و سقف‌ها را سازمانی مدیریت کنید.

پیش‌نیازها

• یک حساب پیکو هوش و یک کلید API از داشبورد (کلید فقط یک‌بار کامل نمایش داده می‌شود).
• شناسه‌ی دقیق مدل از کاتالوگ؛ در مثال‌ها از gpt-6-sol و claude-sonnet-5-5 استفاده شده است.
• کمی موجودی در کیف پول تومانی یا اعتبار؛ تعرفه را در صفحه‌ی قیمت‌ها ببینید.

راه‌اندازی گام‌به‌گام

1. ۱استفاده در پایتون

   نام مدل با پیشوند openai/ و آدرس پایه.

   کپی

   import os, litellm
   
   resp = litellm.completion(
       model="openai/gpt-6-sol",
       api_base="https://api.picoai.ir/v1",
       api_key=os.environ["PICOAI_API_KEY"],
       messages=[{"role": "user", "content": "سلام!"}],
   )
   print(resp.choices[0].message.content)

2. ۲پراکسی LiteLLM

   در config.yaml مدل‌ها را تعریف کنید.

   کپی

   model_list:
     - model_name: sol
       litellm_params:
         model: openai/gpt-6-sol
         api_base: https://api.picoai.ir/v1
         api_key: os.environ/PICOAI_API_KEY
     - model_name: sonnet
       litellm_params:
         model: openai/claude-sonnet-5-5
         api_base: https://api.picoai.ir/v1
         api_key: os.environ/PICOAI_API_KEY

3. ۳اجرای پراکسی

   پراکسی را بالا بیاورید و کلاینت‌ها را به آن وصل کنید.

   کپی

   pip install "litellm[proxy]"
   litellm --config config.yaml --port 4000

4. ۴صدا زدن پراکسی

   حالا هر کلاینت OpenAI به پراکسی شما اشاره می‌کند.

   کپی

   curl http://localhost:4000/v1/chat/completions \
     -H "Authorization: Bearer YOUR_LITELLM_KEY" \
     -H "Content-Type: application/json" \
     -d '{"model":"sol","messages":[{"role":"user","content":"سلام"}]}'

تست سریع اتصال

پیش از نوشتن منطق برنامه، یک بار فهرست مدل‌ها را بگیرید. اگر پاسخ ۲۰۰ و فهرستی از شناسه‌ها برگشت، کلید، شبکه و آدرس درست است و هر مشکل بعدی مربوط به تنظیمات LiteLLM خواهد بود.

curl https://api.picoai.ir/v1/models \
  -H "Authorization: Bearer YOUR_API_KEY"

نکته‌های کاربردی برای LiteLLM

• نام‌های مستعار (model_name) به شما اجازه می‌دهد بدون تغییر کد برنامه، مدل پشتیبان را عوض کنید.
• پیکو هوش خودش failover سمت ارائه‌دهنده دارد؛ در LiteLLM فقط برای افزونگی میان چند حساب یا دروازه از fallback استفاده کنید.
• کلید اصلی را فقط در پراکسی نگه دارید و به تیم‌ها کلید مجازی LiteLLM بدهید.

عیب‌یابی

هزینه و صورتحساب

هر درخواست قبل از اجرا مقداری از موجودی را رزرو می‌کند و پس از پاسخ موفق بر پایه‌ی توکن‌های واقعی تسویه می‌شود؛ مابه‌التفاوت برمی‌گردد و درخواست ناموفق چیزی کم نمی‌کند. جدول قیمت هر مدل در صفحه‌ی قیمت‌ها منتشر شده و مصرف هر درخواست در داشبورد قابل مشاهده است. اگر قبلاً از سرویس دیگری استفاده می‌کردید، راهنمای مهاجرت و صفحه‌ی مقایسه را ببینید.