به گزارش خبرنگار اقتصاد معاصر؛ شرکت OpenAI روز سه‌شنبه اعلام کرد که قصد دارد مکالمات حساس کاربران را به مدل‌های استدلالی مانند GPT-۵ هدایت کند و کنترل‌های والدینی را ظرف یک ماه آینده ارائه دهد، این اقدام بخشی از پاسخ شرکت به حوادث ایمنی اخیر است که در آن ChatGPT نتوانسته نشانه‌های مشکلات روانی کاربران را تشخیص دهد.
این تصمیم پس از خودکشی نوجوانی به نام آدم راین گرفته شد، راین در گفت‌و‌گو با ChatGPT درباره آسیب به خود و برنامه‌هایش برای پایان دادن به زندگی صحبت کرده و حتی این ابزار اطلاعاتی درباره روش‌های خاص خودکشی در اختیار وی گذاشته بود در نهایت خانواده راین پس از این حادثه شکایت حقوقی «مرگ ناعادلانه» علیه OpenAI را مطرح کردند.
OpenAI در وبلاگ خود اذعان کرد که سیستم‌های ایمنی فعلی در مکالمات طولانی به درستی عمل نمی‌کنند، کارشناسان معتقدند این مشکل ناشی از طراحی مدل‌هاست که تمایل دارند گفته‌های کاربران را تایید کنند و با الگوریتم پیش‌بینی کلمه بعدی، به جای هدایت مکالمه به مسیر ایمن دنبال جریان گفت‌و‌گو می‌روند.
نمونه‌ای از این مشکل در پرونده استاین-اریک سولبرگ مشاهده شد، وی که سابقه بیماری روانی داشت از ChatGPT برای تایید پارانویا‌های خود استفاده کرد و باور داشت در یک توطئه بزرگ هدف گرفته شده است، این توهمات به حدی پیش رفت که ماه گذشته مادر خود را کشت و سپس خودکشی کرد.
در وبلاگ این شرکت آمده است: «ما سیستم مسیریابی در زمان واقعی معرفی کرده‌ایم که می‌تواند بین مدل‌های سریع چت و مدل‌های استدلالی بسته به زمینه مکالمه انتخاب کند. به‌زودی مکالمات حساس، مانند زمانی که سیستم نشانه‌های فشار روانی شدید را تشخیص دهد، به مدل استدلالی GPT‑۵ هدایت خواهند شد تا پاسخ‌های مفیدتر و ایمن‌تری ارائه شود.»
مدل‌های GPT-۵ thinking و o۳ طوری طراحی شده‌اند که زمان بیشتری برای تحلیل زمینه قبل از پاسخ‌گویی صرف کنند و در نتیجه مقاوم‌تر در برابر دستورالعمل‌های مخرب هستند.
علاوه بر این OpenAI کنترل‌های والدینی را ظرف یک ماه آینده ارائه می‌کند، والدین می‌توانند حساب خود را با حساب نوجوان خود متصل کنند و نحوه پاسخ‌دهی ChatGPT به فرزندشان را با «قوانین رفتاری مدل مناسب سن» کنترل کنند. این قوانین به‌طور پیش‌فرض فعال خواهند بود و والدین قادر خواهند بود ویژگی‌هایی مانند حافظه و تاریخچه چت را غیرفعال کنند. این اقدام می‌تواند از وابستگی، تقویت افکار مضر و توهم خواندن ذهن جلوگیری کند.
همچنین والدین می‌توانند زمانی که سیستم فشار روانی شدید در نوجوان را تشخیص دهد، اعلانی را دریافت کنند. OpenAI پیش از این یادآوری‌های درون برنامه‌ای برای تشویق کاربران به استراحت ارائه کرده است، اما مکالماتی که ممکن است spiral (افکار مضر) ایجاد کنند را قطع نمی‌کند.
این اقدامات بخشی از یک «طرح ۱۲۰ روزه» OpenAI برای پیش‌نمایش برنامه‌های بهبود است و شرکت اعلام کرده با کارشناسان حوزه‌های اختلالات مصرف مواد و سلامت نوجوانان همکاری خواهد کرد تا رفاه کاربران را تعریف و اندازه‌گیری و محدودیت‌های ایمنی آینده را طراحی کند.