Top-p چیست؟

در nucleus sampling توکن‌ها بر اساس احتمال مرتب می‌شوند و فقط مجموعه‌ای انتخاب می‌شود که احتمال تجمعی آن‌ها از p بیشتر شود؛ بقیه کنار گذاشته می‌شوند. با p=0.1 فقط محتمل‌ترین توکن‌ها در نظر گرفته می‌شود و پاسخ محافظه‌کارانه است؛ با p=1 همه‌ی توکن‌ها مجازند.

top_p و temperature هر دو تنوع را تنظیم می‌کنند. توصیه‌ی رایج این است که یکی را تغییر دهید و دیگری را پیش‌فرض بگذارید، چون اثر ترکیبی‌شان پیش‌بینی‌پذیر نیست.

پشتیبانی از این پارامتر به مدل بستگی دارد و برخی مدل‌های استدلالی آن را قبول نمی‌کنند.

مثال کاربردی

برای تولید توضیح محصول می‌خواهید کمی تنوع داشته باشید ولی از توکن‌های خیلی نامحتمل دور بمانید. top_p برابر ۰٫۹ را امتحان می‌کنید و temperature را دست‌نخورده می‌گذارید.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• دمای نمونه‌برداری: Temperature پارامتری است که میزان تصادفی بودن انتخاب توکن بعدی را تنظیم می‌کند؛ مقدار پایین پاسخ‌های قابل‌پیش‌بینی‌تر و مقدار بالا پاسخ‌های خلاقانه‌تر می‌دهد.
• حداکثر توکن خروجی: Max tokens سقف تعداد توکنی است که مدل مجاز است در پاسخ تولید کند؛ با رسیدن به آن، پاسخ قطع می‌شود.
• توهم مدل: توهم (Hallucination) وقتی است که مدل زبانی اطلاعات نادرست یا ساختگی را روان و مطمئن بیان می‌کند.
• مدل زبانی بزرگ: مدل زبانی بزرگ مدلی یادگیری عمیق است که روی حجم عظیمی از متن آموزش دیده و می‌تواند متن بفهمد و تولید کند.

در پیکو هوش

پارامتر top_p در قالب سازگار با OpenAI پذیرفته می‌شود؛ اعمال آن به مدل بستگی دارد.

اشتباهات رایج

• تغییر همزمان top_p و temperature.
• فرض اینکه top_p کوچک یعنی پاسخ درست‌تر.