کاهش مصرف توکن در پیکو بدون افت نتیجهٔ کار

اول مشخص کنید کدام بخش درخواست بزرگ شده است. در یک چت پشتیبانی ممکن است تاریخچهٔ چند گفتگو دوباره ارسال شود. در یک ابزار برنامه‌نویسی ممکن است خروجی کامل دستورها همراه درخواست برود. برای هر حالت راه‌حل متفاوت است.

ابتدا یک خط پایه بسازید

برای سه ورودی کوتاه و سه ورودی بلند، توکن ورودی، توکن خروجی و پاسخ قابل استفاده را ثبت کنید. یک بار فقط متن‌های نامرتبط را حذف کنید. یک بار هم سقف خروجی را با قالب مورد نیاز هماهنگ کنید. اثر هر تغییر را جدا بسنجید تا بدانید کدام تغییر واقعاً تفاوت ایجاد کرده است.

گزینهٔ پیکو را روی کارهای منتخب امتحان کنید

بهینه‌سازی پیکو به درخواست خودتان فعال می‌شود. برای آزمایش فشرده‌سازی خروجی ابزارها می‌توانید هدر x-pico-optimize: rtk را بفرستید. برای کوتاه‌کردن تاریخچه، تنظیم history=12 را در نمونه‌ای امتحان کنید که پیام‌های قدیمی در آن اهمیت کمی دارند. پیش از استفاده در محیط واقعی بررسی کنید که تصمیم‌ها، نام‌ها یا محدودیت‌های مهم از زمینه حذف نشده باشند.

اگر درخواست هم به سند طولانی و هم به پاسخ دقیق نیاز دارد، ابتدا قسمت‌های مرتبط سند را جدا کنید. کوتاه‌کردن کورکورانه می‌تواند کیفیت را پایین بیاورد و تعداد تلاش‌های بعدی را زیاد کند.

برای مقایسهٔ نتیجه، داشبورد مصرف و راهنمای بودجهٔ API را کنار هم استفاده کنید.