تأخیر چیست؟

تأخیر مدل‌های زبانی از چند بخش تشکیل می‌شود: زمان شبکه، صف و پردازش پرامپت، و زمان تولید پاسخ توکن‌به‌توکن. پرامپت بلندتر، پردازش اولیه را طولانی‌تر می‌کند و پاسخ بلندتر زمان تولید را بیشتر.

برای تجربه‌ی کاربری، «زمان تا اولین توکن» (TTFT) اهمیت دارد و استریم آن را کاهش می‌دهد. برای کارهای پس‌زمینه، کل زمان یا توان عملیاتی مهم‌تر است.

راه‌های کاهش: مدل کوچک‌تر و سریع‌تر، پرامپت کوتاه‌تر، کش پرامپت، استریم و نزدیک بودن مسیر شبکه. هر عدد تأخیر باید در شرایط خودتان اندازه‌گیری شود؛ عددهای تبلیغاتی لزوماً قابل تعمیم نیست.

مثال کاربردی

در یک اپ صوتی، تأخیر بالاتر از چند ثانیه آزاردهنده است. با مدل سریع‌تر، پرامپت کوتاه‌تر و استریم، زمان تا اولین توکن را کم می‌کنید و عدد را در محیط واقعی خود اندازه می‌گیرید، نه در آزمایش‌های یک نفره.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• استریم: استریم یعنی مدل پاسخ را تکه‌تکه و هم‌زمان با تولید ارسال کند و نیاز نباشد تا پایان تولید منتظر بمانید.
• جایگزینی خودکار مسیر: Failover یعنی وقتی مسیر یا ارائه‌دهنده‌ی اصلی خطا می‌دهد یا کند است، درخواست به‌طور خودکار به مسیر پشتیبان فرستاده شود.
• پرامپت کش: پرامپت کش یعنی بخش تکراری ابتدای پرامپت (مثل دستورالعمل ثابت یا سند بلند) در سمت ارائه‌دهنده نگه داشته شود تا در درخواست‌های بعدی ارزان‌تر و سریع‌تر پردازش شود.
• توکن: توکن کوچک‌ترین واحد متنی است که مدل زبانی پردازش می‌کند؛ می‌تواند یک کلمه، بخشی از کلمه یا یک نویسه باشد و هزینه و محدودیت‌ها بر پایه‌ی آن سنجیده می‌شود.

در پیکو هوش

ما عدد ثابت تأخیر یا آپتایم تبلیغ نمی‌کنیم. وضعیت زنده‌ی مسیرها در صفحه‌ی وضعیت سرویس آمده است و بهتر است تأخیر را در برنامه‌ی خودتان اندازه بگیرید.

اشتباهات رایج

• مقایسه‌ی تأخیر مدل‌ها بدون یکسان بودن طول پرامپت و خروجی.
• نادیده گرفتن استریم برای بهبود تجربه.