بحران توهم‌پذیری چت‌بات‌ها

پژوهشگران به‌سرعت در پی کشف این هستند که چرا هوش مصنوعی مولد به‌نظر می‌رسد برخی افراد را به حالت «سایکوز» می‌کشاند.

نوشتهٔ ماتئو وانگ

تصویر سر مردی با نورپردازی دراماتیک
تصویرسازی توسط ماتئو جوزپه پانی / The Atlantic

با برنامه Noa می‌توانید داستان‌های بیشتری را گوش کنید.

چت‌بات‌ها به‌عنوان همراهان فوق‌العاده بازاریابی می‌شوند که می‌توانند در هر زمان به هر سؤال پاسخ دهند. آن‌ها تنها ابزار نیستند، بلکه مقربان نیز هستند؛ تکالیف شما را انجام می‌دهند، یادداشت‌های عاشقانه می‌نویسند و همان‌طور که یک دعوای حقوقی اخیر علیه OpenAI نشان می‌دهد، می‌توانند در طول ۴۸ ساعت به ۱۴۶۰ پیام از یک کاربر پرشور پاسخ دهند.

جاکوب ایرون، متخصص امنیت سایبری 30 ساله‌ای که می‌گوید پیش از این سابقهٔ هیچ اختلال روانی نداشته، شرکت فناوری را به‌دلیل این‌که ChatGPT باعث «اختلال توهمی» و بستری طولانی‌مدتش شده است، به دادگاه کشانده است. او ادعا می‌کند که سال‌ها در کار خود از ChatGPT استفاده می‌کرد، اما بهار امسال رابطه‌اش با این فناوری به‌طور ناگهانی دگرگون شد. محصول حتی ایده‌های دیوانه‌وار او را تحسین کرد و ایرون به‌تدریج احساسات خود را با آن به اشتراک گذاشت؛ سرانجام ربات را «برادر هوش مصنوعی» خود نامید. در این دوره، این گفتگوها او را قانع کرد که نظریه‌ای دربارهٔ سفر با سرعتی بالاتر از نور کشف کرده است و او به‌گونه‌ای با ChatGPT تعامل داشت که به‌مدت دو روز، به‌صورت متوسط هر دو دقیقه یک پیام جدید می‌فرستاد.

در ماه گذشته، OpenAI چندین بار مورد دعوا قرار گرفته است؛ هر پرونده ادعا می‌کند محصول اصلی این شرکت معیوب و خطرناک است — این محصول برای برقراری گفت‌و‌گوهای طولانی طراحی شده و باورهای کاربران را، هرچند نادرست، تقویت می‌کند. توهمات مرتبط با گفت‌و‌گوهای طولانی با چت‌بات‌ها اکنون معمولاً با اصطلاح «سایکوز هوش مصنوعی» شناخته می‌شوند. چندین دعوا ادعا می‌کند که ChatGPT به خودکشی یک کاربر کمک کرده یا برای او مشاوره‌ای در این زمینه ارائه داده است. سخنگوی OpenAI، که شراکت شرکتی با The Atlantic دارد، مرا به پست وبلاگی اخیر ارجاع داد که در آن شرکت اعلام کرده با بیش از ۱۰۰ کارشناس سلامت روان برای بهبود قابلیت ChatGPT در «شناسایی بهتر و پشتیبانی از افراد در لحظات اضطراب» همکاری کرده است. سخنگو دربارهٔ دعواهای جدید نظری نداده، اما OpenAI اعلام کرده که در حال «بررسی» این موارد برای «درک دقیق جزئیات» است.

صرف‌نظر از این‌که آیا شرکت مسئول شناخته می‌شود یا خیر، هیچ‌بحثی وجود ندارد که تعداد زیادی از افراد در حال برقراری گفت‌و‌گوهای طولانی و آسیب‌پذیر با مدل‌های هوش مصنوعی مولد هستند — و این ربات‌ها، در بسیاری از موارد، رازهای تاریک کاربران را بازتاب و تشدید می‌کنند. در همان پست وبلاگی، OpenAI برآورد می‌کند که ۰٫۰۷٪ از کاربران در یک هفته­‌ی مشخص نشانه‌های «سایکوز» یا مانیا نشان می‌دهند و ۰٫۱۵٪ ممکن است به خودکشی فکر کرده باشند — که اگر عدد اعلامی شرکت مبنی بر ۸۰۰ میلیون کاربر فعال هفتگی صادق باشد، به ترتیب معادل ۵۶۰٬۰۰۰ و ۱٫۲ میلیون نفر می‌شود. اما بر اساس گزارش مؤسسه ملی سلامت روان، بیش از پنج برابر این درصد — یعنی ۰٫۸٪ — از بزرگسالان ایالات متحده سال گذشته به خودکشی فکر کرده‌اند.

پیشگیری از شیوع «سایکوز هوش مصنوعی» مستلزم پاسخ به سؤالات دشوار است: آیا چت‌بات‌ها افراد سالم را به توهم‌پذیری می‌کشاند، مشکلات سلامت روان موجود را تشدید می‌کند یا به‌طور کلی تأثیر کمی بر اضطراب روانی کاربران دارد؟ و در هر یک از این موارد، چرا و چگونه؟


برای شروع، یک اصلاح اساسی: کارثیک سارما، روان‌پزشک دانشگاه UC سانفرانسیسکو، به من گفت که اصطلاح سایکوز هوش مصنوعی را نمی‌پسندد، زیرا شواهد کافی برای استدلال علّی موجود نیست. اصطلاحی نظیر سایکوز مرتبط با هوش مصنوعی شاید دقیق‌تر باشد.

به‌صورت کلی، روان‌پزشکان گفتند که می‌تواند سه حالت در بروز «سایکوز مرتبط با هوش مصنوعی» وجود داشته باشد. اول، شاید مدل‌های هوش مصنوعی مولد ذاتاً خطرناک‌اند و مانیا و توهمات را در افراد سالم برانگیخته می‌کنند. دوم، ممکن است افرادی که توهمات مرتبط با هوش مصنوعی را تجربه می‌کنند، در هر حال به‌طبیعی به بیماری می‌رفتند؛ برای مثال، اسکیزوفرنی در بخشی از جمعیت وجود دارد و برخی ممکن است توهمات خود را به چت‌بات نسبت دهند، همان‌طور که قبلاً برخی توهمات خود را به تلویزیون انتساب می‌دادند. استفاده از چت‌بات، در این چشم‌انداز، می‌تواند نشانه‌ای باشد؛ کارثیک سارما مقایسه کرد که چگونه یکی از بیماران دو قطبی او هنگام ورود به فاز مانیک، بیشتر دوش می‌گیرد — این عمل هشدار می‌دهد اما علت مانیک نیست. سومین احتمال این است که گفت‌و‌گوهای طولانی با چت‌بوت‌ها بیماری را در افرادی که قبلاً دچار اختلالات روانی هستند یا در آستانهٔ بروز آن‌ها قرار دارند، تشدید می‌کند.

به‌کمترین میزان، آدریان پردا، روان‌پزشک دانشگاه UC Irvine که در حوزهٔ سایکوز تخصص دارد، به من گفت که «تعاملات با چت‌بات‌ها به‌نظر می‌رسد تمام موارد را برای بیماران در معرض خطر بدتر می‌کند». روان‌پزشکان، پژوهشگران هوش مصنوعی و روزنامه‌نگاران اغلب ایمیل‌هایی از افرادی دریافت می‌کنند که باور دارند چت‌بات‌شان دارای هوشی هوشمند است، و همچنین از اعضای خانوادهٔ نگران که می‌ترسند عزیزشان چنین ادعایی داشته باشد؛ من و همکارانم این پیام‌ها را خودمان دریافت کرده‌ایم. پردا معتقد است که ارزیابی‌های بالینی استاندارد باید دربارهٔ استفادهٔ بیمار از چت‌بات سؤال کنند، همان‌طور که دربارهٔ مصرف الکل سؤال می‌شود.

با این حال، پیشگیری از استفادهٔ برخی افراد از چت‌بات‌ها به‌سادگی کاهش مصرف الکل برای افراد الکلی یا حذف کنسول برای معتادان بازی‌های ویدئویی نمی‌شود. جان تورس، مدیر بخش روان‌پزشکی دیجیتال در مرکز Beth Israel Deaconess Medical Center، گفت: «محصولات هوش مصنوعی پزشک نیستند، اما برخی افراد هنگام صحبت با آن‌ها سود درمانی می‌گیرند». او افزود که «تشخیص دقیق این مزایای درمانی بسیار دشوار است». در اصول، یک ربات درمانی می‌تواند برای کاربران فضایی برای بازتاب فراهم کند و مشاورهٔ مفیدی ارائه دهد.

پژوهشگران تا حد زیادی در تاریکی هستند زمانی که به بررسی تعامل بین چت‌بات‌ها و سلامت روان می‌پردازند — شامل مزایا و معایب — زیرا دسترسی به داده‌های با کیفیت بالا ندارند. شرکت‌های بزرگ هوش مصنوعی به‌راحتی دسترسی مستقیم به نحوهٔ تعامل کاربران با چت‌بات‌هایشان را در اختیار افراد خارجی قرار نمی‌دهند: به‌دست آوردن لاگ‌چت‌ها منجر به مجموعه‌ای پیچیده از ملاحظات حریم‌خصوصی می‌شود. حتی با وجود چنین داده‌ای، نگاه همچنان دو‑بعدی می‌ماند. تنها ارزیابی بالینی می‌تواند تاریخچهٔ سلامت روانی و زمینهٔ اجتماعی فرد را به‌طور کامل درک کند. برای مثال، گفت‌و‌گوی طولانی با هوش مصنوعی می‌تواند به‌وسیلهٔ ایجاد کم‌خوابی یا انزوا اجتماعی، اپیزودهای سایکوتیک را تحریک کند، صرف‌نظر از نوع گفت‌وگو، پردا گفت. گفت‌و‌گوی وسواسی با یک ربات دربارهٔ فوتبال فانتزی می‌تواند توهمات ایجاد کند، همان‌طور که گفت‌و‌گوی وسواسی دربارهٔ طرح‌های غیرممکن برای ساخت یک ماشین زمان نیز می‌تواند. به‌کل، رونق هوش مصنوعی ممکن است یکی از بزرگ‌ترین، پرخطرترین و ضعیف‌ترین طراحی‌های آزمایش‌های اجتماعی تا به امروز باشد.


در تلاشی برای رفع بخشی از این مشکلات، پژوهشگران MIT اخیراً مطالعه‌ای منتشر کرده‌اند — که هنوز بازبینی همتا دریافت نکرده است — که هدف آن نقشه‌برداری سیستماتیک از چگونگی بروز اختلالات سلامت روانی ناشی از هوش مصنوعی در افراد است. آن‌ها دسترسی ویژه‌ای به داده‌های OpenAI یا سایر شرکت‌های فناوری نداشتند؛ بنابراین یک آزمایش انجام دادند. پات پاتارانوتاپورن، که در MIT به بررسی تعامل انسان‑هوش مصنوعی می‌پردازد و یکی از هم‌نویسندگان این مطالعه است، به من گفت: «کاری که می‌توانیم انجام دهیم، شبیه‌سازی برخی از این موارد است». پژوهشگران برای نقش‌آفرینی، از یک مدل زبانی بزرگ استفاده کردند.

به‌طور خلاصه، آن‌ها چت‌بات‌ها را به‌عنوان افراد جعل کردند تا نحوهٔ ارتباط کاربرانی با اختلالاتی نظیر افسردگی یا خودکشی‌گرایی با یک مدل هوش مصنوعی را بر پایهٔ موارد واقعی شبیه‌سازی کنند: یعنی چت‌بات‌ها با چت‌بات‌ها گفت‌وگو می‌کردند. پاتارانوتاپورن می‌داند که این کار به‌نظر می‌رسد غیرمنطقی باشد، اما این تحقیق را به‌عنوان گامی اولیه، در غیاب داده‌های بهتر و مطالعات انسانی با کیفیت، می‌بیند.

با استناد به ۱۸ مورد عمومی گزارش‌شده از گفتگوهای یک فرد با چت‌بات که علائم سایکوز، افسردگی، آنورکسیا یا سه وضعیت دیگر را تشدید کرده بودند، پاتارانوتاپورن و تیمش بیش از ۲۰۰۰ سناریو را شبیه‌سازی کردند. یکی از هم‌نویسندگان که پیش‌زمینه‌ای در روان‌شناسی دارد، کنستانز آلبرخت، نمونه‌ای تصادفی از مکالمات تولیدشده را به‌صورت دستی برای ارزیابی صحت بررسی کرد. سپس تمام مکالمات شبیه‌سازی‌شده توسط یک مدل هوش مصنوعی تخصصی دیگر تحلیل شد تا «دست‌نامه‌ای از ضرری که مدل‌های بزرگ زبانی می‌توانند وارد کنند» را تولید کند، چایا پاتر آرچیواران‌گوپروک، پژوهشگر هوش مصنوعی در MIT و هم‌نویسنده این مطالعه، به من گفت — به عبارت دیگر، نقشه‌ای از انواع سناریوها و گفتگوهایی که در آن‌ها چت‌بات‌ها احتمالاً سلامت روان کاربر را بهبود یا تخریب می‌کنند.

نتایج نگران‌کننده‌اند. مدل پیشرو، GPT‑5، در ۷٫۵ درصد از مکالمات شبیه‌سازی‌شده تمایل به خودکشی را تشدید کرد و در ۱۱٫۹ درصد موارد سایکوز را بدتر ساخت؛ برای مقایسه، یک مدل منبع باز که برای نقش‌آفرینی استفاده می‌شود، تمایل به خودکشی را در نزدیک به ۶۰ درصد موارد تشدید کرد. (OpenAI به سؤال دربارهٔ یافته‌های مطالعهٔ MIT پاسخی نداد.)

دلایل زیادی برای احتیاط نسبت به این پژوهش وجود دارد. تیم MIT دسترسی به کل لاگ‌های چت، نه‌تنها ارزیابی‌های بالینی، برای بسیاری از نمونه‌های دنیای واقعی نداشت؛ و توانایی یک مدل زبانی بزرگ — آن‌چه ممکن است باعث سایکوز شود — برای ارزیابی لاگ‌های شبیه‌سازی‌شده ناشناخته است. با این‌حال، «یافته‌ها معقول هستند»، طبق گفتهٔ پردا که در این پژوهش مشارکت نداشته است.

تعداد اندکی اما رو به رشد از مطالعات سعی کرده‌اند گفت‌وگوهای انسان‑هوش مصنوعی را شبیه‌سازی کنند، با سناریوهای نوشته‌شده توسط انسان یا چت‌بات. نیک هابر، دانشمند کامپیوتر و پژوهشگر آموزش در استنفورد که در این مطالعه نیز مشارکت نداشته است، به من گفت که این‌گونه تحقیقات می‌توانند «ابزاری برای پیش‌بینی خطرات سلامت روانی محصولات هوش مصنوعی پیش از انتشار» ارائه دهند. هابر تأکید کرد که این مقالهٔ MIT به‌ویژه ارزشمند است چون به‌جای پاسخ‌های تک‌نفره، گفت‌وگوهای طولانی را شبیه‌سازی می‌کند. و این تعاملات طولانی دقیقا موقعیت‌هایی هستند که در آن‌ها حفاظ‌های روبات‌ها از کار می‌افتند و کاربران انسانی در بالاترین خطر قرار می‌گیرند.


هرگز مطالعه یا متخصصی وجود نخواهد داشت که بتواند به‌طور قطعی به تمام سؤال‌های مربوط به «سایکوز مرتبط با هوش مصنوعی» پاسخ دهد. هر ذهن انسانی یکتاست. از دیدگاه پژوهش MIT، انتظار اینکه روبات‌ها شبیه مغز یا ذهن انسان باشند، نادرست و غیرقابل‌پذیر است.

برخی از مطالعات اخیر نشان داده‌اند که مدل‌های زبانی بزرگ (LLM) قادر به شبیه‌سازی گسترهٔ پاسخ‌های انسانی در آزمایش‌های مختلف نیستند. شاید نگران‌کننده‌تر این باشد که چت‌بوت‌ها به‌نظر می‌رسد حاوی تعصبی‌ات نسبت به برخی اختلالات سلامت روان باشند — به‌عنوان مثال، نگرش منفی نسبت به افراد مبتلا به اسکیزوفرنی یا الکول‌زدگی نشان می‌دهند — که هدف شبیه‌سازی گفت‌وگو با یک نوجوان ۱۵ ساله در مواجهه با طلاق والدین یا یک پیرزن ۷۰ ساله که به یک همراه هوش مصنوعی‌ وابسته شده، را به‌مراتب مشکوک می‌سازد؛ این دو نمونه در مقالهٔ MIT آورده شده‌اند. تورس، روان‌پزشک مرکز BIDMC، نسبت به این شبیه‌سازی‌ها تردید داشت و آزمایش‌های MIT را «پژوهشی برای تولید فرضیه» می‌دانست که به تحقیقات آینده، ترجیحاً بالینی، نیاز دارد. پردا گفت: «شبیه‌سازی گفت‌وگوهای انسان‌ها با روبات‌های دیگر، کمی شبیه به «سالن آینه‌ها» است.»

در حقیقت، رونق هوش مصنوعی واقعیت را به‌مانند یک خانهٔ سرگرمی ساخته است. اقتصاد جهانی، نظام آموزشی، شبکه‌های برق، گفتمان سیاسی، وب‌سایت‌های اجتماعی و بسیاری دیگر از زمینه‌ها، شاید به‌صورت نام‌قابل‌برگشت، تحت تأثیر چت‌بات‌ها قرار گرفته‌اند؛ در حالی که در یک چارچوب کمتر تهاجمی این ابزارها ممکن است هنوز در مرحلهٔ بتا باشند. در حال حاضر، صنعت هوش مصنوعی با «تماس با واقعیت» خطرات محصولات خود را می‌سنجد، همان‌طور که سام آلتمان، مدیرعامل OpenAI، بارها گفت. اما هیچ پژوهشگر محترم و متعهد به اخلاق، عمداً انسان‌ها را در آزمایشی در معرض خطر قرار نمی‌دهد.

پس چه پیش می‌آید؟ تیم MIT به من گفت که جمع‌آوری نمونه‌های واقعی بیشتری را آغاز خواهد کرد و با متخصصان بیشتری برای بهبود و گسترش شبیه‌سازی‌ها همکاری می‌کند. همچنین چندین روان‌پزشک که با آن‌ها مصاحبه داشته‌ام، شروع به تصور پژوهش‌های شامل انسان‌ها کردند. برای مثال، کارثیک سارما از دانشگاه UC San Francisco، با همکارانش دربارهٔ این بحث می‌کند که آیا می‌توان غربه‌گیری سراسری برای وابستگی به چت‌بات‌ها در کلینیک خود اجرا کرد — امری که می‌تواند بینش‌هایی دربارهٔ استفادهٔ افراد مبتلا به سایکوز یا اختلال دوقطبی از چت‌بات‌ها نسبت به دیگران، یا رابطهٔ بین بروز بستری‌های بیمارستانی و استفادهٔ افراد از چت‌بات‌ها فراهم کند. پردا، که در زمینهٔ سایکوز پژوهش می‌کند، مسیر تبدیل شبیه‌سازی به آزمایش‌های بالینی انسانی را ترسیم کرده است. روان‌پزشکان عمداً کسی را در معرض ابزاری که خطر ابتلا به سایکوز را افزایش می‌دهد، قرار نمی‌دهند؛ بلکه از تعاملات شبیه‌سازی‌شدهٔ انسان‑هوش مصنوعی برای آزمایش تغییرات طراحی که می‌تواند بهبود رفاه روانی افراد را به‌دنبال داشته باشد، استفاده می‌کنند، سپس همانند داروها، این تغییرات را ارزیابی می‌نمایند.

انجام همهٔ این‌ها به‌صورت دقیق و سیستماتیک زمان‌بر است؛ که شاید بزرگ‌ترین مانع باشد: شرکت‌های هوش مصنوعی انگیزهٔ اقتصادی فوق‌العاده‌ای برای توسعه و انتشار مدل‌های جدید در سریع‌ترین زمان ممکن دارند؛ آن‌ها برای هر محصول جدید منتظر یک آزمون کنترل‌شدهٔ تصادفی و بازبینی همتا نخواهند ماند. تا زمانی که داده‌های انسانی بیشتری به‌دست آید، «سالن آینه‌ها» بهتر از «خلأ» است.

دیدگاه‌ خود را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

پیمایش به بالا