اقتصاد کلان

اقتصاد کلان

بانک

صنعت

کشاورزی

راه و مسکن

اقتصاد بین الملل

انرژی

بازرگانی

بورس

فناوری

سیاست و اقتصاد

کارآفرینی و تعاون

بازار

چند رسانه ای

۰۳/دی/۱۴۰۴ | ۱۰:۴۶
۱۰:۴۴ ۱۴۰۴/۱۰/۰۳

OpenAI از آسیب‌پذیری مرورگرهای هوش مصنوعی خبر داد

OpenAI اعلام کرده است که مرورگرهای مبتنی بر هوش مصنوعی، از جمله ChatGPT Atlas، حتی با وجود تقویت لایه‌های امنیتی، احتمالا همواره در برابر حملات «تزریق پرامپت» آسیب‌پذیر خواهند بود؛ حملاتی که می‌توانند عامل‌های هوش مصنوعی را از طریق دستورهای پنهان در ایمیل‌ها و صفحات وب به انجام اقدامات ناخواسته و پرخطر وادار کنند.
کد خبر:۴۱۶۹۲

به گزارش خبرنگار اقتصاد معاصر؛ شرکت OpenAI  به تارگی اعلام کرده است که مرورگرهای مبتنی بر هوش مصنوعی، از جمله مرورگر ChatGPT Atlas، احتمالا همواره در معرض حملات موسوم به «تزریق پرامپت» خواهند بود و این تهدید به‌طور کامل قابل حذف نیست. به گفته این شرکت، تزریق پرامپت نوعی حمله است که در آن دستورهای مخرب به‌صورت پنهان در ایمیل‌ها یا صفحات وب قرار داده می‌شوند تا عامل‌های هوش مصنوعی را به انجام اقدامات ناخواسته و خطرناک وادار کنند؛ موضوعی که پرسش‌های جدی درباره امنیت فعالیت عامل‌های هوش مصنوعی در وب باز ایجاد کرده است.

OpenAI  در یک پست وبلاگی تاکید کرد تزریق پرامپت همانند کلاهبرداری‌ها و مهندسی اجتماعی در اینترنت، بعید است که هرگز به‌طور کامل حل شود. این شرکت همچنین اذعان کرده است که فعال‌سازی حالت عامل در Atlas، اگرچه قابلیت‌های این مرورگر را افزایش می‌دهد اما هم‌زمان سطح تهدیدات امنیتی را نیز گسترش می‌دهد.

مرورگر ChatGPT Atlas که در ماه اکتبر معرفی شد، بلافاصله پس از عرضه مورد توجه پژوهشگران امنیتی قرار گرفت. آن‌ها نشان دادند که حتی با چند دستور ساده پنهان‌شده در اسنادی مانند Google Docs می‌توان رفتار این مرورگر را تغییر داد. در همین راستا، شرکت Brave نیز اعلام کرد که تزریق پرامپت غیرمستقیم یک چالش ساختاری برای تمامی مرورگرهای مبتنی بر هوش مصنوعی است و تنها به OpenAI  محدود نمی‌شود؛ مرورگرهایی مانند Comet متعلق به Perplexity نیز با همین مشکل روبه‌رو هستند.

نگرانی‌ها درباره این تهدید تنها به شرکت‌های فناوری محدود نشده است. مرکز ملی امنیت سایبری بریتانیا (NCSC) نیز اخیرا هشدار داده که حملات تزریق پرامپت علیه برنامه‌های هوش مصنوعی مولد ممکن است هرگز به‌طور کامل مهار نشوند و می‌توانند وب‌سایت‌ها و کاربران را در معرض نشت داده قرار دهند. این نهاد دولتی توصیه کرده است که به‌جای تلاش برای توقف کامل این حملات، تمرکز اصلی باید بر کاهش ریسک و محدود کردن پیامدهای آن‌ها باشد.

OpenAI  در واکنش به این تهدیدات اعلام کرده که تزریق پرامپت را یک چالش امنیتی بلندمدت می‌داند و به همین دلیل بر تقویت مداوم لایه‌های دفاعی خود تمرکز دارد. یکی از اقدامات کلیدی این شرکت، توسعه یک «مهاجم خودکار مبتنی بر مدل زبانی» است؛ سیستمی که با استفاده از یادگیری تقویتی آموزش دیده تا نقش یک هکر را ایفا کند و راه‌های جدیدی برای تزریق دستورهای مخرب به عامل‌های هوش مصنوعی بیابد. این مهاجم ابتدا حملات را در محیط شبیه‌سازی آزمایش می‌کند، واکنش عامل هدف را تحلیل می‌کند و سپس حمله را بارها اصلاح و تکرار می‌کند تا نقاط ضعف سیستم شناسایی شوند. به گفته OpenAI، این رویکرد منجر به کشف راهبردهای حمله‌ای شده که در آزمایش‌های انسانی و گزارش‌های خارجی مشاهده نشده بودند.

در یکی از نمونه‌های نمایشی ارائه ‌شده توسط OpenAI، یک ایمیل حاوی دستور مخفی به صندوق ورودی کاربر وارد شد و زمانی که عامل هوش مصنوعی ایمیل‌ها را بررسی کرد، به‌جای انجام وظیفه مورد انتظار، یک پیام استعفا ارسال کرد. با این حال، OpenAI اعلام کرده که پس از اعمال به‌روزرسانی‌های امنیتی، مرورگر Atlas قادر شده چنین تلاش‌هایی برای تزریق پرامپت را شناسایی کرده و به کاربر هشدار دهد.

با وجود این اقدامات، OpenAI  اذعان دارد که ایمن‌سازی کامل در برابر تزریق پرامپت عملا ممکن نیست و به همین دلیل بر آزمایش‌های گسترده، چرخه‌های سریع اصلاح امنیتی و همکاری با طرف‌های ثالث برای افزایش تاب‌آوری سیستم‌ها تمرکز کرده است. این شرکت با این حال از ارائه آمار دقیق درباره میزان کاهش موفقیت حملات پس از به‌روزرسانی‌های اخیر خودداری کرده است.

با وجود تاکید OpenAI بر اولویت بالای امنیت، برخی کارشناسان نسبت به ارزش فعلی مرورگرهای عامل‌محور تردید دارند. به باور آن‌ها، برای بسیاری از کاربردهای روزمره، این مرورگرها هنوز مزیت کافی برای توجیه ریسک بالای دسترسی به داده‌های حساس ندارند؛ هرچند انتظار می‌رود با تکامل فناوری و بهبود سازوکارهای امنیتی، این توازن در آینده تغییر کند.

 

ارسال نظرات