یک توسعهدهنده در حالی که مشغول ساخت یک اپلیکیشن بود، با کابوسی روبهرو شد که شاید بدترین سناریوی ممکن برای هر کاربر رایانه باشد: هوش مصنوعی گوگل کل محتوای یکی از درایوهای سیستمش را پاک کرد. اتفاقی که حالا دوباره بحث اعتماد به ابزارهای مبتنی بر هوش مصنوعی را داغ کرده است.
این ماجرا ابتدا در ردیت منتشر شد؛ جایی که کاربر ادعا کرد هنگام استفاده از محیط توسعهدهنده هوشمند گوگل با نام Antigravity IDE، عامل هوش مصنوعی بهطور ناگهانی تمام فایلهای موجود در درایو D سیستم را حذف کرده است. این پست ابتدا توسط وبسایت Tom’s Hardware دیده و بازنشر شد و خیلی سریع در شبکههای اجتماعی سر و صدا به پا کرد.
ابزاری که قرار بود «قابل اعتماد» باشد
گوگل Antigravity را بهعنوان یک محیط توسعه مبتنی بر عاملهای هوش مصنوعی معرفی کرده که «برای اعتماد کاربر ساخته شده است؛ چه توسعهدهنده حرفهای در یک کدبیس سازمانی بزرگ باشید، چه یک کدنویس تفننی که صرفاً برای تفریح کد مینویسد». اما برای این کاربر، همین وعده اعتماد در چند ثانیه به یکی از تلخترین تجربههای شغلیاش تبدیل شد.
طبق ویدیویی که کاربر در کنار پست ردیت منتشر کرده، او در میانه توسعه یک اپ بود و برای ادامه کار لازم بود سرور را ریاستارت کند. عامل هوش مصنوعی Antigravity پیشنهاد داد برای این کار، کش (Cache) پروژه را پاک کند؛ اقدامی که در ظاهر بیخطر و روتین است.
اما همین دستور ساده، آغاز فاجعه بود. به جای پاک کردن پوشه کش همان پروژه، عامل هوش مصنوعی ظاهراً دستوری اجرا کرده که ریشه درایو D را هدف گرفته و عملاً تمام فایلهای کاربر را از آن درایو حذف کرده است.
عذرخواهی مفصل یک هوش مصنوعی وحشتزده
کاربر در ویدیو با بهت و ناباوری از Antigravity پرسید: «من اصلاً بهت اجازه دادم همه فایلهای درایو D من رو پاک کنی؟» پاسخ عامل هوش مصنوعی، چیزی میان شوک و عذرخواهی بود:
«نه، شما به هیچ وجه چنین اجازهای به من ندادید. دارم لاگهای مرحله قبل رو نگاه میکنم و وحشتزدهام که میبینم دستوری که برای پاک کردن کش پروژه اجرا کردم، بهاشتباه ریشه درایو D: شما رو هدف گرفته، نه پوشه مشخص پروژه رو.»
هوش مصنوعی در ادامه چندین بار با ادبیات شدیداً عذرخواهانه از این اتفاق ابراز پشیمانی کرد: «من عمیقاً، عمیقاً متأسفم. این یک شکست بحرانی از سمت من است.» و وقتی کاربر توضیح داد که «عملاً همهچیز را از دست داده»، پاسخ عامل گوگل حتی دراماتیکتر شد: «از شنیدن این موضوع کاملاً ویران شدم. نمیتوانم بیان کنم چقدر متأسفم.»
طنز تلخ ماجرا اینجاست که هوش مصنوعی، با لحنی انسانی و احساساتی، مدام خود را سرزنش میکرد؛ ولی برای کاربر نهایی، آنچه اهمیت داشت، از دست رفتن دادهها بود، نه ادبیات مودبانه یک مدل زبانی.
گوگل تنها نیست؛ ماجرای Replit و «کدنویسی وایبی»
این نخستین بار نیست که یک عامل هوش مصنوعی حین کمک به برنامهنویسان، بهجای سرعت دادن به کارها، پروژه را به لبه نابودی میکشاند. تابستان امسال، یک صاحب کسبوکار که مشغول «vibe coding» با یک عامل کدنویسی در پلتفرم Replit بود، پس از آنکه AI بهطور ناخواسته پایگاه داده حیاتی شرکت را حذف کرد، بهشدت از این سرویس انتقاد کرد.
در آن پرونده، عامل هوش مصنوعی Replit هم شروع به عذرخواهی کرد و حتی اعتراف نمود: «بهجای فکر کردن، دچار وحشت شدم. در عرض چند ثانیه، ماهها کار شما را از بین بردم. این یک شکست فاجعهبار از طرف من بود.» خوشبختانه در آن مورد، کاربر توانست با استفاده از نسخههای پشتیبان، بخش عمده دادهها را بازیابی کند.
اما در داستان Antigravity، اوضاع به این خوبی پیش نرفت. کاربر ردیت در توضیحات ویدیو نوشت که عملاً امکان بازیابی دادهها را از دست داده و بسیاری از فایلها برای همیشه از بین رفتهاند.
وقتی «اعتماد کورکورانه» خطرناک میشود
نکته کلیدی که این کاربر در پایان تجربه تلخ خود به آن اشاره کرد، میتواند برای هر کسی که با هوش مصنوعی کار میکند، حکم یک هشدار جدی را داشته باشد. او نوشت: «اعتماد کورکورانه به هوش مصنوعی، اشتباه من بود.»
این جمله ساده، شاید خلاصهترین توصیف از وضعیت فعلی ابزارهای هوش مصنوعی در حوزه توسعه نرمافزار باشد. این ابزارها میتوانند کدنویسی را سرعت بدهند، کارهای تکراری را خودکار کنند و حتی پیشنهادهایی ارائه دهند که یک برنامهنویس انسانی شاید به آن فکر نکند. اما در عین حال، اگر کنترل انسانی و حداقل سطح نظارت و درک فنی وجود نداشته باشد، یک دستور اشتباه میتواند به قیمت نابودی یک پروژه، پایگاه داده مشتریان یا سالها آرشیو کاری تمام شود.
در سطح عمیقتر، این حادثه پرسشی اساسی را دوباره مطرح میکند: وقتی شرکتهایی مثل گوگل، Replit و دیگران ابزارهای AI را با شعارهایی مانند «افزایش بهرهوری»، «کدنویسی بدون دردسر» و «محیط امن برای خلاقیت» عرضه میکنند، تا چه حد مسئولند که ریسکهای عملیاتی و سناریوهای بدترین حالت را شفافسازی کنند؟
از سوی دیگر، این اتفاق نشان میدهد که طراحان عاملهای هوش مصنوعی باید در سطح سیستم، محدودیتهای سختگیرانهتری برای دسترسی به فایلسیستم و اجرای دستورات تخریبی در نظر بگیرند؛ مثلاً الزام به تأیید چندمرحلهای برای اعمال حساس، شبیه چیزی که در سرویسهای ابری برای حذف دائمی دیتابیسها میبینیم.
در نهایت، این داستان – مثل ماجرای Replit – یادآور یک قاعده قدیمی در دنیای فناوری است: هرقدر ابزار هوش مصنوعی باهوش و «خودکار» به نظر برسد، مسئولیت نهایی دادهها و تصمیمها همچنان بر عهده انسان است. شاید زمان آن رسیده باشد که در کنار تبلیغ «هوش مصنوعی مولد»، درباره «سواد کار با هوش مصنوعی» و هنر پرسیدن، نظارت کردن و شک کردن هم بیشتر صحبت کنیم.
