هر ارائه‌دهنده‌ی مدل گاهی خطا می‌دهد: قطعی کوتاه، محدودیت ظرفیت یا کندی ناگهانی. اگر برنامه‌ی شما فقط به یک مسیر وابسته باشد، آن خطا مستقیم به کاربر شما می‌رسد.
در مسیریابی چندمسیره (multi-route)، دروازه مسیرهای مختلفی برای رسیدن به یک مدل دارد و ترتیب اولویت می‌دهد. اگر مسیر اول خطا بدهد یا از آستانه‌ی زمانی عبور کند، همان درخواست به مسیر بعدی ارسال میشود، بی‌آنکه کلاینت چیزی بفهمد.
failover سحر نیست: همه‌ی مسیرها ممکن است هم‌زمان مشکل داشته باشند و پاسخ‌ها بین مسیرها ممکن است کمی متفاوت باشد. معیار خوب، شفافیت درباره‌ی نحوه‌ی کار آن است.
مثال کاربردی
مسیر اول برای یک مدل به‌خاطر ازدحام چند ثانیه کند میشود. دروازه همان درخواست را به مسیر دوم می‌فرستد و کاربر شما فقط یک پاسخ می‌بیند. اگر هر دو مسیر مشکل داشته باشند، همچنان خطا می‌گیرید؛ پس منطق تلاش مجدد را در برنامه نگه دارید.
چطور در عمل بررسی کنیم؟
بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.
اصطلاحات نزدیک
- تأخیر: Latency زمان بین ارسال درخواست و دریافت پاسخ است؛ در مدل‌های زبانی معمولاً با «زمان تا اولین توکن» و «سرعت تولید» سنجیده میشود.
- محدودیت نرخ: محدودیت نرخ سقف تعداد درخواست یا توکن در بازه‌ی زمانی مشخص است که برای حفظ پایداری و جلوگیری از سوءاستفاده اعمال میشود.
- آدرس پایه (Base URL): Base URL آدرس ریشه‌ی یک API است که مسیرهای مختلف مثل /chat/completions به آن اضافه میشود؛ با تغییر آن می‌توان همان کلاینت را به سرویس دیگری وصل کرد.
- کلید API: کلید API رشته‌ی محرمانه‌ای است که هویت شما را در برابر یک API ثابت می‌کند و مصرف را به حساب شما نسبت می‌دهد.
در پیکو هوش
پیکو هوش مسیریابی چندمسیره با جایگزینی خودکار دارد و وضعیت مسیرها را در صفحهی مسیریابی و وضعیت سرویس شرح می‌دهد. عدد تضمین آپتایم نمی‌دهیم.
اشتباهات رایج
- فرض اینکه failover تضمین صددرصد است.
- نداشتن مسیر پشتیبان در سمت خودتان (مثلاً سرویس دوم).
پرسش‌های متداول
آیا هزینهی تلاش ناموفق کم میشود؟
خیر؛ هزینه فقط برای پاسخ موفق تسویه میشود.
میتوانم مسیر را خودم انتخاب کنم؟
مسیریابی خودکار است. جزئیات را در صفحهی مسیریابی بخوانید.
جایگزینی خودکار مسیر در پیکو هوش چه نقشی دارد؟
پیکو هوش مسیریابی چندمسیره با جایگزینی خودکار دارد و وضعیت مسیرها را در صفحهی مسیریابی و وضعیت سرویس شرح می‌دهد. عدد تضمین آپتایم نمی‌دهیم.
از تعریف تا عمل
ثبت‌نام کنید، یک کلید بسازید و مفهوم را روی مدل واقعی امتحان کنید.