امبدینگ چیست؟

یک مدل امبدینگ متن را به فهرستی از صدها یا هزاران عدد تبدیل می‌کند. متن‌های هم‌معنا بردارهای نزدیک به هم دارند. با اندازه‌گیری فاصله (مثلاً شباهت کسینوسی) می‌توان نزدیک‌ترین متن‌ها را به یک پرسش پیدا کرد، حتی اگر کلمات مشترک نداشته باشند.

کاربردهای رایج: جستجوی معنایی در اسناد، پیشنهاد محتوای مشابه، خوشه‌بندی و ساخت زیرساخت RAG. بردارها در پایگاه داده‌ی برداری یا افزونه‌هایی مثل pgvector ذخیره می‌شوند.

مدل امبدینگ با مدل چت فرق دارد و هر دو را می‌توان از ارائه‌دهنده‌های مختلف گرفت؛ فقط باید برای ایندکس و پرسش از یک مدل امبدینگ یکسان استفاده کنید.

مثال کاربردی

می‌خواهید در ۲۰۰۰ مقاله‌ی پشتیبانی دنبال پاسخ «چرا پرداختم ناموفق شد؟» بگردید، در حالی که مقاله‌ها از عبارت «خطای تراکنش بانکی» استفاده کرده‌اند. جستجوی کلمه‌ای شکست می‌خورد ولی جستجوی برداری هر دو را نزدیک هم می‌بیند.

چطور در عمل بررسی کنیم؟

بهترین راه یادگرفتن این مفهوم، دیدن آن در یک درخواست واقعی است. یک کلید بسازید، فهرست مدل‌ها را با /v1/models بگیرید، یک درخواست کوچک بفرستید و فیلدهای پاسخ (از جمله usage و finish_reason) را بخوانید. سپس همان درخواست را با پارامتر یا مدل دیگر تکرار و در داشبورد مصرف و هزینه را مقایسه کنید. نمونه‌های آماده در راهنمای cURL و راهنمای پایتون هست.

اصطلاحات نزدیک

• تولید مبتنی بر بازیابی: RAG روشی است که پیش از پاسخ، بخش‌های مرتبط از اسناد شما بازیابی و همراه پرسش به مدل داده می‌شود تا پاسخ بر پایه‌ی داده‌ی شما باشد.
• پنجره‌ی زمینه: پنجره‌ی زمینه حداکثر تعداد توکنی است که مدل در یک درخواست می‌تواند هم‌زمان ببیند؛ شامل پرامپت، تاریخچه و پاسخ.
• مدل زبانی بزرگ: مدل زبانی بزرگ مدلی یادگیری عمیق است که روی حجم عظیمی از متن آموزش دیده و می‌تواند متن بفهمد و تولید کند.
• توهم مدل: توهم (Hallucination) وقتی است که مدل زبانی اطلاعات نادرست یا ساختگی را روان و مطمئن بیان می‌کند.

در پیکو هوش

توجه: در حال حاضر نقطه‌ی امبدینگ در پیکو هوش ارائه نمی‌شود. برای RAG از یک مدل امبدینگ محلی یا سرویس دیگر استفاده کنید و فقط تولید پاسخ را به پیکو هوش بسپارید.

اشتباهات رایج

• ایندکس با یک مدل امبدینگ و پرسش با مدل دیگر.
• فرض اینکه امبدینگ جایگزین جستجوی کلمه‌ای است؛ ترکیب هر دو اغلب بهتر است.