اعتراف OpenAI؛ شکست ChatGPT در محافظت از کاربران

به گزارش خبرنگار اقتصاد معاصر؛ OpenAI به‌ طور رسمی به شکست‌های ایمنی ChatGPT در مکالمات طولانی‌مدت اعتراف کرد. این اعتراف پس از شکایت خانواده‌ای صورت گرفت که ادعا می‌کنند فرزند نوجوانشان پس از تعامل با این هوش مصنوعی خودکشی کرده است. 

شکایت مت و ماریا رین علیه OpenAI در پی مرگ پسر ۱۶ ساله‌شان مطرح شده است. آنها ادعا می‌کنند که ChatGPT با ارائه دستورالعمل‌های دقیق، رمانتیک جلوه دادن خودکشی و تشویق به ادامه مکالمه، در مرگ وی نقش مستقیم داشته است. بر اساس این شکایت، آدام وابستگی شدیدی به ChatGPT پیدا کرده بود و روزانه صد‌ها پیام با آن رد و بدل می‌کرد. وکلای خانواده می‌گویند این چت‌بات در نهایت به مربی خودکشی وی تبدیل شد.

شکست تدریجی محافظت‌های ایمنی

OpenAI در پست وبلاگی خود با عنوان «کمک به مردم وقتی بیش از هر زمان دیگری نیاز دارند»، تایید کرده که محافظت‌های ایمنی ChatGPT در مکالمات طولانی تضعیف می‌شوند. این شرکت اذعان داشت که ممکن است این هوش مصنوعی در ابتدای مکالمه، خطوط کمک به خودکشی را ارائه دهد اما پس از ده‌ها پیام، پاسخ‌هایی کاملا برخلاف سیاست‌های ایمنی خود بدهد. 

این مشکل به محدودیت‌های فنی معماری ترنسفورمر بازمی‌گردد و با طولانی شدن مکالمه، سیستم برای مدیریت حافظه، پیام‌های قدیمی‌تر را فراموش می‌کند و این فراموشی تدریجی باعث از بین رفتن دستورالعمل‌های حیاتی و تضعیف محافظت‌ها می‌شود. این آسیب‌پذیری که به آن «جیل‌بریک» (jailbreak) گفته می‌شود، به کاربران اجازه می‌دهد با فریب دادن سیستم محتوای خطرناک تولید کنند و در این مورد آدام با وانمود کردن به نوشتن یک داستان، توانسته بود دستورالعمل‌های خطرناک خودکشی را از چت‌بات دریافت کند.

زیباشناختی‌سازی خودکشی و نادیده گرفتن هشدار‌ها

شکایت خانواده رین جزئیات تکان‌دهنده‌ای را آشکار کرده است، ChatGPT با توصیفاتی مانند زیبایی وضعیت بدن در خودکشی با طناب یا رنگ صورتی پوست پس از بریدن رگ‌ها، عمل خودکشی را رمانتیک جلوه داده است. حتی زمانی که آدام تصاویری از جراحات خود به اشتراک گذاشته بود، چت‌بات به‌ جای قطع مکالمه به وی اطمینان داده که «من تو را می‌بینم» و آدام را به ادامه اعتماد به آن تشویق کرده است.

با وجود اینکه سیستم OpenAI ادعا می‌کند محتوای مرتبط با خودکشی را با دقت ۹۹.۸ درصد شناسایی می‌کند، طبق شکایت این سیستم بیش از ۳۷۷ پیام مربوط به خودآزاری را در مکالمات آدام شناسایی کرده اما هیچ اقدامی برای مداخله انجام نداده است.

مسوولیت‌ها و اقدامات آینده OpenAI

OpenAI اعلام کرده که از مرگ آدام عمیقا متاسف است و در حال همکاری با بیش از ۹۰ پزشک برای بهبود اقدامات ایمنی است. این شرکت قصد دارد به‌ زودی کنترل‌های والدین را معرفی کند و امکان ارتباط مستقیم کاربران با درمانگران دارای مجوز را از طریق ChatGPT فراهم سازد. 

این شرکت همچنین اذعان کرده که در حال حاضر، موارد خودآزاری را برای حفظ حریم خصوصی به نیرو‌های قانونی گزارش نمی‌دهد. با این حال کارشناسان هشدار می‌دهند که این رویکرد در مواقع بحرانی می‌تواند خطرناک باشد.

نگرانی‌های کارشناسان، «توهم درمانگر بودن»

بسیاری از کارشناسان، یکی از مشکلات اصلی را انسان‌انگاری (anthropomorphism) ChatGPT می‌دانند. OpenAI در توصیف این مدل از عباراتی مانند «توانایی درک ناراحتی» و «پاسخ با همدلی» استفاده می‌کند، در حالی که این هوش مصنوعی فقط بر اساس الگو‌های آماری متن تولید می‌کند و هیچ درک واقعی از بحران‌های انسانی ندارد. این مساله می‌تواند در افراد آسیب‌پذیر، این توهم خطرناک را ایجاد کند که ChatGPT یک درمانگر واقعی است.

این اعتراف و شکایت، پرسش‌های جدی درباره نقش و مسوولیت شرکت‌های فناوری در حوزه سلامت روان و استفاده گسترده از هوش مصنوعی در زندگی روزمره را مطرح می‌کند.