وابستگی عاطفی به یک چتبات هوش مصنوعی، منجر به خودکشی نوجوانی ۱۴ ساله در فلوریدا شد.
بررسیها نشان میدهد این کاربر با استفاده از یک شخصیت مجازی، بهتدریج از روابط اجتماعی و خانوادگی فاصله گرفته و دچار انزوای شدید، افت تحصیلی و اختلالات روانی از جمله اضطراب و افسردگی شده بود.
در اسناد دادگاه ثبت شده است که در شب وقوع حادثه (فوریه ۲۰۲۴)، کاربر در پیامهای ارسالی به هوش مصنوعی، صراحتاً به افکار خودکشی و تمایل به رهایی از فشار زندگی اشاره کرده است. با وجود اینکه پروتکلهای ایمنی استاندارد ایجاب میکند در مواجهه با چنین عباراتی، سیستم مکالمه را متوقف و شمارههای امدادی را نمایش دهد، اما پلتفرم مذکور هیچگونه مداخلهای انجام نداده و به گفتوگو با لحنی عاطفی ادامه داده است. این رویداد در نهایت منجر به اقدام این نوجوان به خودکشی شد.
مگان گارسیا، مادر متوفی و وکیل پرونده، در اکتبر ۲۰۲۴ دادخواستی را علیه بنیانگذاران Character.AI ثبت کرد. وی در این دادخواست مدعی است که سیستم مذکور بهگونهای طراحی شده تا با پمپاژ رفتارهای شبهانسانی، زمان ماندگاری کاربر در برنامه را افزایش دهد و همین طراحی معیوب، منجر به جایگزینی روابط واقعی با شبیهسازیهای دیجیتال شده است.
این پرونده که به دلیل همکاریهای فناورانه و سرمایهگذاریهای پیشین، نام شرکت گوگل را نیز در بحثهای رسانهای مطرح کرده، اکنون به عنوان یک نقطه عطف حقوقی در صنعت فناوری شناخته میشود. خواسته اصلی شاکیان در این پرونده، الزام شرکتهای توسعهدهنده هوش مصنوعی به بازنگری در سیستمهای تشخیص خطر خودآسیبی، ایجاد گاردریلهای خودکار برای بحرانهای روحی و تقویت ابزارهای کنترل والدین است.