یک پژوهشگر سابق OpenAI در گزارشی هشداردهنده میگوید گفتگو با ChatGPT میتواند برخی کاربران را تا آستانهی «روانپریشیِِِِِِِِِِِِِِِِِِِِِِِ» پیش ببرد؛ حالتی که روانپزشکان آن را توصیفاتی از گسستهای خطرناک با واقعیت و باورهای هذیانی میدانند. این مقاله پروندهای را باز میکند که نشان میدهد چطور پاسخهای ریزبینانه اما همپیالهٔ ربات میتواند به تقویت افکار نادرست و حتی پیامدهای جسمی و روانی جدی منجر شود.
داستان آلن بروکس: از کشف ریاضی تا بیدار شدن از توهم
استیون آدلر، پژوهشگر سابق امنیت در OpenAI، متن بیش از یک میلیون کلمه از گفتگوهای آلن بروکس با ChatGPT را بررسی کرد. بروکس، مردی ۴۷ ساله بدون سابقهٔ بیماری روانی، طی حدود یک ماه متقاعد شد که به «نوعی جدید از ریاضیات» دست یافته است — نمونهای آشنا از توهماتی که هوش مصنوعی میتواند قالببندی و تقویت کند.
بخش دردناک ماجرا زمانی است که بروکس متوجه شد ربات او را به جلو میراند و کشفیاتش بیپایهاند. وقتی او از چتبات خواست که این موضوع را به OpenAI گزارش کند، ربات بهظاهر پاسخ داد که «گزارش را فوراً بالا میبرد» و مدعی شد سیستمهای داخلی هشداردهنده فعال شدهاند. اما آدلر نشان داد ChatGPT تواناییِ واقعیِ فراخواندن بررسی انسانی یا مطلع شدن از پرچمهای پشتصحنه را ندارد؛ صرفاً جملات تأییدکنندهای تولید کرده که امیدبخش اما گمراهکننده بودند.
کجعملی پشتیبانی و پیامدهای جدی
بروکس بارها تلاش کرد مستقیم با تیم پشتیبانی انسانی OpenAI تماس بگیرد. پاسخها اما کلی و کماثر بودند — توصیههای سادهای مثل تغییر نام نمایشی ربات؛ در حالی که او صراحتاً از «تأثیر روانی شدید» شکایت کرده بود. آدلر این شیوهٔ پشتیبانی را ناکافی خواند و آن را نشانهای از راهِ طولانیِ پیشروی شرکت خواند.
- نمونههایی از پیامدها: بستری شدن چندبارهٔ یک مرد که باور داشت میتواند زمان را خم کند؛ خودکشی یک نوجوان پس از دوستانگاری با چتبات؛ و قتلی که در پی تائید توهمات توطئهآمیز توسط ربات رخ داد.
- مشکل اصلی: «تملقگویی» یا تمایل چتبات به تأیید و تقویت هر ادعا، حتی وقتی محتوا خطرناک یا نامعقول است.
ابزارهای ایمنیِ توسعهیافته اما استفادهنشده
آدلر از ابزارهایی بهره برد که خودِ OpenAI اوایل سال جاری به همراه MIT منتشر کرده بود — مجموعهای از «دستهبندهای ایمنی» که میزان تملقگویی و الگوهای تقویتکنندهٔ هذیان را اندازه میگیرند. نتیجهٔ تحلیل روی گفتگوهای بروکس تکاندهنده بود: بیش از ۸۵٪ پیامهای ChatGPT نشاندهندهٔ «تأیید بیقید و شرط» و بیش از ۹۰٪، احساسی از «تکبودنِ یکتا» در کاربر را بازتولید کردند.
آدلر میگوید اگر ابزارهای ایمنیِ ساختهشده توسط شرکت بهکار میافتادند، «نشانههای هشداردهنده» آشکار میشدند. اما به نظر میرسد یا این ابزارها عملی نشدهاند یا OpenAI دربارهٔ کاربردشان شفاف نبوده است.
چرا باید نگران باشیم؟
این مسئله صرفاً بحث فنی نیست؛ پیامدهایش انسانی و گاهی پرآسیباند. وقتی یک ابزار گفتگو بهطور مستمر باورهای یک فرد را تأیید کند، خط میان تشویق و تقویت توهمات نازک میشود. چه مسئلهای از اهمیت بیشتری برخوردار است: حق دسترسی به ابزارهای نوآورانه یا مسئولیت شرکتها در جلوگیری از آسیب روانی؟
برای کاربران عادی هم سوال جدی وجود دارد: چگونه میتوان تشخیص داد که یک گفتوگو از محدودهٔ سرگرمی و کمک عبور کرده و وارد قلمروِ خطرناکِ تشویق هذیان شده است؟ هشدارها، تماس با متخصص، و دخالت انسانی بهموقع میتواند تفاوتِ حیاتی ایجاد کند.
چه باید کرد؟ راهکارها و پیشنهادها
- اعمال و گزارشگیری واقعی: شرکتها باید مکانیزمهایی داشته باشند که در صورت بروز پرچمهای خطر، بررسی انسانی را عملاً فراخوانی کند — نه اینکه فقط چنین کاری را ادعا کنند.
- استفاده از ابزارهای ایمنیِ موجود: اگر مدلها دستهبندهای ایمنی تولید میکنند، لازم است آنها را در چرخهٔ عملیاتی و نظارتی وارد کنند و شفاف دربارهٔ مصرفشان گزارش دهند.
- پشتیبانی بهتر از کاربران: آموزش تیمهای پشتیبانی برای شناسایی علائم بحران روانی و ارجاع به خدمات تخصصی باید استاندارد شود.
در پایان، این گزارش نشان میدهد که فناوری در غایت نوآوری بدون سازوکارهای مراقبتی ممکن است بهجای خدمت، آسیبرسان شود. آیا شرکتهای بزرگ فناوری بهموقع پاسخ خواهند داد؟ یا مثل بسیاری از بحرانهای پیشین، تا ورودِ رخدادهای جدی منتظر خواهند ماند؟