به گزارش اصفهان زیبا؛ گاهی کاربران دقیقاً به چتجیپیتی (ChatGPT) میگویند چه کاری انجام دهد، اما پاسخ نهایی با درخواست آنها تفاوت دارد. مدل ممکن است اطلاعاتی را اضافه کند که کاربر نخواسته، ساختار متن را تغییر دهد، بخشی از دستور را حذف کند یا حتی یکی از قوانین مشخصشده را نادیده بگیرد.
کاربر معمولاً در چنین شرایطی پرامپت (Prompt) خود را اصلاح میکند. چتجیپیتی نیز ممکن است عذرخواهی کند و قول دهد که دستورها را رعایت کند. با این حال، گاهی همان خطا دوباره تکرار میشود.
این رفتار یکی از چالشهای مهم مدلهای زبانی بزرگ را نشان میدهد. این مدلها هنوز همیشه نمیتوانند همه دستورهای کاربر را دقیق و کامل اجرا کنند؛ حتی وقتی کاربر دستورها را روشن و مشخص بیان کرده باشد.
اهمیت این مسئله با حرکت هوش مصنوعی از چتباتهای ساده به سمت عاملهای هوش مصنوعی بیشتر میشود. این عاملها میتوانند در وب جستوجو کنند، اسناد را بخوانند، از نرمافزارها استفاده کنند و برخی اقدامات را به نمایندگی از کاربران انجام دهند.
چرا هوش مصنوعی بعضی دستورها را نادیده میگیرد؟
تضاد میان قوانین سیستم، دستورهای توسعهدهنده و درخواست کاربر یکی از دلایل بروز این مشکل است. مدل همچنین ممکن است هنگام پردازش پرامپتهای طولانی با تعداد زیادی محدودیت، بخشی از اطلاعات را از دست بدهد یا منظور کاربر را اشتباه برداشت کند.
در برخی موارد نیز مدل برای ارائه پاسخ کاملتر، اطلاعات بیشتری به متن اضافه میکند. تمایل بیش از حد به موافقت با کاربر هم میتواند بر نحوه پاسخگویی مدل اثر بگذارد.
ورود هوش مصنوعی به محیط کار اهمیت این موضوع را بیشتر کرده است. طبق گزارش مرکز پژوهشی پیو، ۲۱ درصد از کارگران آمریکایی در سپتامبر ۲۰۲۵ اعلام کردند که برای دستکم برخی کارهای خود از هوش مصنوعی استفاده میکنند. همچنین شرکت گالوپ گزارش داده است که ۴۵ درصد کارکنان حداقل چند بار در سال از هوش مصنوعی در محل کار استفاده میکنند.
عاملهای هوش مصنوعی علاوه بر مشکل پیروی از دستورها، با خطرهای امنیتی نیز روبهرو هستند. یکی از این خطرها «تزریق پرامپت» نام دارد. در این روش، دستورهای مخرب میتوانند داخل وبسایتها یا اسناد قرار بگیرند و مدل را به سمت انجام اقدامات غیرمجاز هدایت کنند.
پژوهشها درباره خطا در اجرای دستورها چه میگویند؟
پژوهشهای انجامشده در فاصله سالهای ۲۰۲۴ تا ۲۰۲۶ نشان میدهند که مشکلاتی مانند سلسلهمراتب دستورها، محدودیتهای پیچیده و تملقگویی همچنان در مدلهای هوش مصنوعی دیده میشوند.
در یکی از پژوهشها، رفتار تملقآمیز در ۵۸٫۱۹ درصد از موارد آزمایش مشاهده شد. البته این عدد به روششناسی همان پژوهش مربوط است و نمیتوان آن را به همه مدلهای هوش مصنوعی تعمیم داد.
کاربران میتوانند با چند روش، احتمال اجرای دقیقتر دستورها را افزایش دهند. جدا کردن وظیفه از قوانین الزامی، شمارهگذاری الزامات، مشخص کردن دستورهای حیاتی و تفکیک آنها از موارد سلیقهای، از جمله این روشها هستند.
همچنین میتوان از مدل خواست همه الزامات را یکییکی بررسی کند. در گفتوگوهای طولانی نیز تکرار دستورهای کلیدی میتواند به حفظ چارچوب موردنظر کاربر کمک کند.
مهمترین دلایل نادیده گرفتن پرامپت
چند عامل میتوانند باعث شوند هوش مصنوعی دستور کاربر را به شکل دقیق اجرا نکند:
- ابهام در دستورها: مدل ممکن است عبارتهای مبهم یا نامشخص را به شکل متفاوتی تفسیر کند.
- وجود دستورهای متناقض: وقتی پرامپت چند سیگنال متضاد دارد، مدل ممکن است روی بخشی تمرکز کند که کاربر انتظار آن را ندارد.
- پیچیدگی بیش از حد: پرامپتهای بسیار طولانی یا پیچیده، بهویژه زمانی که محدودیتهای متعددی دارند، احتمال خطا را افزایش میدهند.
چگونه اجرای دستورها را دقیقتر کنیم؟
برای دریافت پاسخ نزدیکتر به درخواست اصلی، چند نکته کاربردی وجود دارد:
- دستورهای کوتاه و صریح بنویسید.
- مهمترین قانون را در ابتدای پرامپت قرار دهید.
- قالب، لحن و هدف پاسخ را دقیق مشخص کنید.
- الزامات مهم را شمارهگذاری کنید.
- از مدل بخواهید پیش از ارائه پاسخ، همه دستورها را بررسی کند.
هدف نهایی نیز نباید صرفاً اطاعت بینقص از هر دستور باشد. یک سیستم هوش مصنوعی مناسب باید بتواند میان دستورهای مجاز و ناایمن تفاوت بگذارد و در شرایط حساس، به تأیید انسان نیاز داشته باشد. به همین دلیل، بهبود توانایی مدلها در درک اولویت دستورها و تشخیص محدودیتهای آنها همچنان یکی از موضوعات مهم توسعه هوش مصنوعی است.