پاسخ ساختگی چیست؟

پاسخ ساختگی یا «Hallucination» در هوش مصنوعی به حالتی گفته می‌شود که یک مدل زبان یا سامانه مبتنی بر هوش مصنوعی، پاسخی ارائه می‌دهد که از نظر ظاهری درست، منطقی و قانع‌کننده به نظر می‌رسد، اما در واقع نادرست، غیرواقعی یا بدون پشتوانه‌ی اطلاعاتی است. این مدل‌ها معمولاً بر اساس الگوهای آماری یاد گرفته‌شده و داده‌های آموزشی پاسخ خود را تولید می‌کنند و گاهی پیش می‌آید که برای یک سؤال، جواب دقیقی نداشته باشند اما باز هم تلاش می‌کنند پاسخی ظاهراً معتبر ارائه دهند.

اهمیت مسئله‌ی پاسخ ساختگی در کاربردهای واقعی هوش مصنوعی دوچندان می‌شود. مثلاً اگر یک دانشجو برای پرس و جو درباره‌ی موضوعی دانشگاهی به یک چت‌بات مراجعه کند و آن سامانه، یک واقعیت نادرست را با اعتمادبه‌نفس بیان کند، فرد ممکن است اطلاعات اشتباهی را باور کند یا حتی بر اساس آن تصمیم اشتباهی بگیرد. در حوزه‌هایی چون پزشکی، حقوق یا حتی کسب‌وکار، چنین خطاهایی می‌تواند پیامدهای جدی‌تری داشته باشد.

برای مثال، تصور کنید یک کاربر فارسی‌زبان از یک مدل هوش مصنوعی می‌پرسد: «نام نویسنده‌ی رمان شازده کوچولو چیست؟» اگر مدل به اشتباه و با اطمینان پاسخ دهد «جلال آل‌احمد»، این یک پاسخ ساختگی است؛ در حالی‌که جواب صحیح «آنتوان دو سنت اگزوپری» است.

پاسخ ساختگی با اشتباهات ساده‌ی مدل‌های هوش مصنوعی متفاوت است. اشتباه ممکن است به دلیل کمبود داده رخ دهد، اما پاسخ ساختگی معمولاً زمانی رخ می‌دهد که مدل سعی می‌کند به هر قیمتی پاسخی ارائه کند، حتی وقتی پشتوانه‌ی واقعی ندارد. بنابراین، تشخیص و مدیریت پاسخ‌های ساختگی از چالش‌های مهم در توسعه‌ی مدل‌های زبانی پیشرفته است.