توهم مدل چیست؟

مدل زبانی برای تولید متن محتمل آموزش دیده است، نه برای راستی‌آزمایی. بنابراین می‌تواند منبع، عدد، نام قانون یا آدرسی را بسازد که هیچ‌جا وجود ندارد، آن هم با لحنی کاملاً مطمئن. این پدیده در موضوعات کم‌داده، پرسش‌های دقیق عددی و خواسته‌های مبهم شایع‌تر است.

راه‌های کاهش: دادن متن مرجع و دستور «فقط از متن استفاده کن»، RAG، پایین آوردن temperature، درخواست استدلال یا ذکر منبع و در نهایت بررسی انسانی. هیچ‌کدام تضمین کامل نمی‌دهند.

برای کاربردهای حساس (پزشکی، حقوقی، مالی) خروجی مدل را منبع نهایی ندانید و با منبع معتبر تطبیق دهید. نقل‌قول، ارجاع و آمار مدل را همیشه خودتان بررسی کنید.

مثال کاربردی

از مدل درباره‌ی «ماده‌ی ۱۷ یک قانون خاص» می‌پرسید و پاسخی روان با شماره‌ی ماده می‌گیرید. اگر متن قانون را همراه پرسش بدهید و بگویید فقط از همان استفاده کند، احتمال ساختگی بودن کم می‌شود؛ اما تطبیق نهایی با متن رسمی همچنان لازم است.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• تولید مبتنی بر بازیابی: RAG روشی است که پیش از پاسخ، بخش‌های مرتبط از اسناد شما بازیابی و همراه پرسش به مدل داده می‌شود تا پاسخ بر پایه‌ی داده‌ی شما باشد.
• دمای نمونه‌برداری: Temperature پارامتری است که میزان تصادفی بودن انتخاب توکن بعدی را تنظیم می‌کند؛ مقدار پایین پاسخ‌های قابل‌پیش‌بینی‌تر و مقدار بالا پاسخ‌های خلاقانه‌تر می‌دهد.
• فاین‌تیونینگ: Fine-tuning ادامه‌ی آموزش یک مدل از پیش‌آموزش‌دیده روی داده‌ی اختصاصی است تا سبک، قالب یا رفتار خاصی را یاد بگیرد.
• مهندسی پرامپت: مهندسی پرامپت نوشتن و بهبود دستورالعمل‌های ورودی مدل برای گرفتن خروجی دقیق‌تر، پایدارتر و مفیدتر است.

در پیکو هوش

ما ادعای رفع توهم نمی‌کنیم. انتخاب مدل مناسب، پرامپت دقیق و RAG به کاهش آن کمک می‌کند، ولی بررسی انسانی لازم است.

اشتباهات رایج

• اعتماد به ارجاع و منبع بدون بررسی.
• استفاده از مدل به‌عنوان پایگاه واقعیت.