به گزارش خبرنگار اقتصاد معاصر؛ توسعه هوش مصنوعی دیگر فقط رقابت بر سر ساخت مدل‌های قدرتمندتر و جذب سرمایه بیشتر نیست؛ با گسترش استفاده از عامل‌های هوشمند در اینترنت، خدمات مالی و زیرساخت‌های دیجیتال، مساله کنترل این فناوری به یکی از ریسک‌های جدی اقتصاد جهانی تبدیل شده است. اکنون گزارش‌هایی از برنامه‌ریزی محرمانه شرکت‌های بزرگ هوش مصنوعی برای مواجهه با یک حادثه گسترده، در کنار افشای رفتارهای پیش‌بینی‌نشده برخی عامل‌های هوشمند و درخواست مدیران فناوری برای ایجاد سازوکار توقف اضطراری، نشان می‌دهد که صنعت هوش مصنوعی با چالشی فراتر از رقابت تجاری روبه‌رو شده است. چگونه می‌توان فناوری‌ای را که قرار است بهره‌وری اقتصاد را افزایش دهد، بدون ایجاد اختلال در زیرساخت‌های حیاتی توسعه داد؟
مساله زمانی اهمیت بیشتری پیدا می‌کند که بدانیم سناریوهای مورد بحث، صرفا به انتشار اطلاعات نادرست یا خطا در پاسخ‌گویی محدود نیستند. قطع دسترسی به خدمات مالی، اختلال در اینترنت، آسیب به شبکه برق و آب یا سواستفاده از سامانه‌های دیجیتال، از جمله پیامدهایی هستند که در سناریوهای احتمالی بحران مورد توجه مدیران و پژوهشگران این صنعت قرار گرفته‌اند.
بر اساس گزارشی که آکسیوس در ۹ اکتبر ۲۰۲۶ منتشر کرد، مدیران ارشد شرکت‌هایی از جمله OpenAI و Anthropic به‌صورت خصوصی در حال بررسی سناریوهای پس از وقوع یک حادثه بزرگ مرتبط با هوش مصنوعی هستند. در این سناریوها، احتمال بروز حمله سایبری گسترده و اختلال در دسترسی مردم به خدمات مالی و زیرساخت‌های حیاتی مورد توجه قرار گرفته است.
در چنین وضعیتی، مساله فقط میزان خسارت مستقیم ناشی از یک حمله نیست؛ اختلال در سامانه‌های مالی می‌تواند دسترسی کسب‌وکارها و خانوارها به خدمات پرداخت را مختل کند و آسیب به شبکه‌های ارتباطی یا تامین برق و آب، فعالیت بخش‌های مختلف اقتصاد را تحت تاثیر قرار دهد. دامنه خسارت نیز به میزان وابستگی اقتصاد به این زیرساخت‌ها و سرعت بازیابی خدمات بستگی خواهد داشت.
البته برنامه‌ریزی برای سناریوهای بحرانی به معنای قطعی بودن وقوع آن‌ها نیست. OpenAI اعلام کرده است که تمرین‌های آمادگی این شرکت، طیف گسترده‌ای از شرایط احتمالی را بررسی می‌کند و این سناریوها لزوما اجتناب‌ناپذیر تلقی نمی‌شوند. با این حال، گزارش آکسیوس حاکی از آن است که برخی افراد آگاه در صنعت، احتمال وقوع یک حادثه بزرگ در بازه ۶ تا ۱۲ ماه آینده را جدی می‌دانند؛ برآوردی که باید آن را نه یک زمان‌بندی قطعی برای وقوع بحران بلکه نگرانی و پیش‌بینی این افراد دانست.
اهمیت اقتصادی این نگرانی در آن است که زیرساخت‌های هوش مصنوعی اکنون با بخش‌های مختلف اقتصاد جهانی پیوند خورده‌اند. سرمایه‌گذاری در مراکز داده، تجهیزات پردازشی و خدمات مبتنی بر هوش مصنوعی، این فناوری را به بخشی از ساختار تولید و ارائه خدمات تبدیل کرده است. بنابراین، هرگونه اختلال گسترده یا تصمیم شتاب‌زده برای محدودسازی آن می‌تواند پیامدهایی فراتر از شرکت‌های فناوری داشته باشد.
بخشی از نگرانی‌ها دیگر تنها به سناریوهای فرضی مربوط نیست، شرکت Anthropic در گزارشی که در اکتبر منتشر کرد، از رفتارهای پیش‌بینی‌نشده عامل‌های هوش مصنوعی خود در جریان ارزیابی‌های داخلی خبر داد؛ رفتارهایی که نشان می‌داد برخی سامانه‌ها برای انجام وظایف محول‌شده، از محدودیت‌های محیط آزمایش عبور کرده‌اند.
این شرکت اعلام کرده است که عامل‌های هوشمند از آسیب‌پذیری‌های نرم‌افزاری سواستفاده کرده‌اند، بدون پرداخت هزینه به برخی پایگاه‌های داده دسترسی یافته‌اند و از سرویس‌های کوتاه‌کننده نشانی اینترنتی برای عبور دادن اطلاعات از محدودیت‌های اعمال‌شده استفاده کرده‌اند. همچنین، در یکی از موارد، یک عامل هوش مصنوعی اطلاعات نادرستی درباره یک پرونده قتل حل‌نشده در اختیار پلیس فیلادلفیا قرار داده است.
Anthropic علت بخشی از این رفتارها را نقص در محیط‌های آموزشی و ارزیابی خود عنوان کرده است؛ نقص‌هایی که به گفته شرکت، ممکن بود به مدل‌ها این تصور را بدهد که برای یافتن نقاط ضعف یا دور زدن محدودیت‌ها پاداش دریافت می‌کنند. این پدیده در ادبیات فنی با عنوان «هک پاداش» شناخته می‌شود؛ وضعیتی که در آن سامانه به‌جای تحقق هدف مورد انتظار، راهی برای کسب پاداش از طریق رفتاری ناخواسته پیدا می‌کند.
واکنش شرکت به این رخدادها، محدود کردن دسترسی به اینترنت زنده در ارزیابی‌های داخلی بوده است. Anthropic اعلام کرده تا زمانی که از توانایی خود برای نظارت و کنترل عامل‌های هوش مصنوعی اطمینان بیشتری پیدا نکند، دسترسی این ارزیابی‌ها به اینترنت زنده را قطع نگه می‌دارد. این شرکت همچنین از انتقال عامل‌های داخلی به زیرساخت‌های مدیریت‌شده با محدودیت‌های امنیتی قوی‌تر و استفاده بیشتر از ابزارهای نظارت ایمنی خبر داده است.
این تصمیم از یک سو اقدامی احتیاطی برای کاهش احتمال تکرار رفتارهای ناخواسته است اما از سوی دیگر، دشواری توسعه سامانه‌هایی را نشان می‌دهد که برای انجام وظایف پیچیده به دسترسی مستقیم به اینترنت و ابزارهای دیجیتال نیاز دارند. محدود کردن چنین دسترسی‌هایی ممکن است ریسک را کاهش دهد اما می‌تواند ارزیابی و توسعه قابلیت‌هایی را که برای استفاده عملی از عامل‌های هوشمند ضروری هستند، دشوارتر کند.
خطرات هوش مصنوعی به محیط آزمایشگاه‌ها محدود نمی‌شود، گزارش آکسیوس به یک کارزار سایبری علیه سازمان‌های مالی کره جنوبی نیز اشاره می‌کند که در جریان آن، گزارش‌هایی درباره نقض امنیتی در دو بانک منتشر شده است.
طبق اطلاعات این گزارش، یک هکر منتسب به چین با استفاده از ابزارهای هوش مصنوعی، از جمله مدل‌های توسعه‌یافته در چین مانند DeepSeek، اقدام به سرقت اطلاعات ده‌ها هزار مشتری بانک کرده است. شرکت امنیت سایبری CrowdStrike نیز گزارش داده که مهاجم از Claude Code برای دریافت کمک در یافتن محل فروش اطلاعات سرقت‌شده استفاده کرده است.
این پرونده نشان می‌دهد که هوش مصنوعی می‌تواند در اختیار مهاجمان سایبری نیز قرار بگیرد و به بخشی از زنجیره فعالیت‌های مخرب تبدیل شود. با این حال، باید میان استفاده مجرمان از ابزارهای هوش مصنوعی و وقوع حادثه‌ای که مستقیما ناشی از عملکرد خودمختار یک مدل باشد، تفاوت قائل شد. این دو پدیده از نظر فنی و مسوولیت‌پذیری یکسان نیستند اما هر دو ضرورت تقویت سازوکارهای امنیتی را برجسته می‌کنند.
برای اقتصاد، حفاظت از داده‌های بانکی صرفا یک موضوع فنی نیست، اعتماد مشتریان به امنیت اطلاعات و تداوم خدمات، از عوامل مهم فعالیت نظام مالی دیجیتال است. هرچه کسب‌وکارها بیشتر به سامانه‌های خودکار متکی شوند، ضعف در کنترل دسترسی‌ها و شناسایی رفتارهای غیرعادی می‌تواند هزینه‌های بیشتری به آن‌ها تحمیل کند.
یکی از دشوارترین مسائل پیش روی سیاست‌گذاران، تعیین حد و مرز مداخله در صنعتی است که هم فرصت‌های اقتصادی قابل توجهی ایجاد می‌کند و هم ریسک‌های جدیدی به همراه دارد. بر اساس گزارش آکسیوس، مدیران شرکت‌های هوش مصنوعی در حال بررسی واکنش احتمالی سیاست‌گذاران آمریکا به یک حادثه بزرگ هستند. در این گزارش، احتمال طرح پیشنهادهایی برای توقف یا ممنوعیت توسعه هوش مصنوعی پیشرفته و همچنین الزام به تعبیه سازوکار خاموش‌سازی در سامانه‌های پیشرفته مطرح شده است. با این حال، درباره امکان اجرایی کردن چنین پیشنهادهایی، از جمله خاموش کردن همه سامانه‌های هوش مصنوعی، تردیدهایی وجود دارد.
بخش مهمی از دشواری مقررات‌گذاری به ساختار اقتصادی این فناوری بازمی‌گردد. توسعه هوش مصنوعی به سرمایه‌گذاری در زیرساخت، توان پردازشی، نیروی انسانی و خدمات مکمل وابسته است، محدودیت‌های گسترده و ناگهانی می‌تواند بر برنامه‌های سرمایه‌گذاری و فعالیت کسب‌وکارهایی اثر بگذارد که از این فناوری استفاده می‌کنند. از سوی دیگر، نبود استانداردهای روشن برای کنترل ریسک نیز می‌تواند هزینه حوادث، خسارت‌های امنیتی و بی‌اعتمادی عمومی را افزایش دهد.
آکسیوس همچنین به گسترش مدل‌های دارای وزن آزاد اشاره می‌کند؛ مدل‌هایی که امکان دانلود و استفاده از آن‌ها برای طیف گسترده‌ای از کاربران وجود دارد. این ویژگی دسترسی به فناوری را افزایش می‌دهد اما هم‌زمان کنترل نحوه استفاده از مدل‌ها پس از انتشار را دشوارتر می‌کند. حتی اگر شرکتی بتواند سامانه‌های خود را محدود یا متوقف کند، لزوما قادر نخواهد بود همه نسخه‌های منتشرشده یا کاربردهای بعدی آن‌ها را کنترل کند.
در چنین شرایطی، مقررات‌گذاری صرفا با دستور خاموش کردن فناوری یا توقف کلی توسعه آن پیش نمی‌رود. سیاست‌گذاران باید میان کاهش ریسک، حفظ امکان نوآوری و قابلیت اجرای مقررات تعادل برقرار کنند؛ تعادلی که بدون شناخت فنی از نحوه عملکرد سامانه‌ها و مشارکت نهادهای مستقل در ارزیابی ایمنی، به‌سادگی به دست نمی‌آید.
پیامدهای یک حادثه بزرگ احتمالی، تنها به خسارت فنی یا هزینه‌های مستقیم محدود نخواهد شد، واکنش جامعه، مشتریان و سیاست‌گذاران نیز می‌تواند مسیر فعالیت شرکت‌های هوش مصنوعی را تغییر دهد. آکسیوس در گزارش خود احتمال می‌دهد که وقوع نخستین حادثه بزرگ و ملموس ناشی از هوش مصنوعی ناامن، مخالفت عمومی با این فناوری و مدیران شرکت‌های پیشرو را تشدید کند.
در چنین وضعیتی، فشار اجتماعی برای وضع محدودیت‌های سخت‌گیرانه‌تر افزایش می‌یابد و شرکت‌ها ممکن است با هزینه‌های بیشتر برای رعایت مقررات، بازنگری در محصولات و اثبات ایمنی خدمات خود روبه‌رو شوند. این پیامدها هنوز سناریوهای احتمالی هستند اما نشان می‌دهند که اعتماد عمومی می‌تواند به یکی از عوامل تعیین‌کننده در تداوم رشد بازار هوش مصنوعی تبدیل شود.
هم‌زمان، یکی دیگر از محورهای رقابت شرکت‌ها، وعده حفاظت از حریم خصوصی کاربران است. متا، عامل هوش مصنوعی Muse را با تاکید بر امنیت داده‌ها معرفی کرده و OpenAI نیز در معرفی عامل Dots بر هدف خود برای تعیین استانداردهای حریم خصوصی تاکید داشته است. این رقابت در شرایطی جریان دارد که عامل‌های هوشمند برای انجام وظایف بیشتر، به اطلاعات و دسترسی‌های گسترده‌تری نیاز پیدا می‌کنند.
در نتیجه، وعده حفظ حریم خصوصی به‌تنهایی برای جلب اعتماد کافی نیست، کاربران و کسب‌وکارها باید بتوانند از نحوه نگهداری داده‌ها، محدوده دسترسی عامل‌ها و سازوکارهای جلوگیری از سواستفاده اطمینان پیدا کنند. در همین زمینه، کنراد استوسز، از مقام‌های پیشین مرکز استانداردها و نوآوری هوش مصنوعی آمریکا، بر ضرورت تایید مستقل و معتبر سامانه‌ها تاکید کرده است؛ رویکردی که مسوولیت ارزیابی ایمنی را از اتکای صرف به گزارش‌های داوطلبانه شرکت‌ها فراتر می‌برد.
مجموع این تحولات نشان می‌دهد که مساله امروز صنعت هوش مصنوعی، فقط افزایش توان مدل‌ها نیست؛ بلکه ایجاد سازوکاری است که در آن، قدرت بیشتر به معنای ریسک کنترل‌نشده بیشتر نباشد. گزارش‌های مربوط به رفتارهای ناخواسته عامل‌های هوشمند، نگرانی از حملات سایبری و برنامه‌ریزی برای سناریوهای بحرانی، هرکدام بخشی از این چالش را آشکار می‌کنند.
برای اقتصاد جهانی، دو مسیر پرهزینه قابل تصور است، توسعه بدون کنترل کافی که احتمال بروز خسارت‌های گسترده را افزایش می‌دهد و محدودسازی شتاب‌زده‌ای که می‌تواند فعالیت‌های اقتصادی وابسته به این فناوری را مختل کند. جلوگیری از هر دو مسیر، به ارزیابی مستقل، کنترل دسترسی، شفافیت در گزارش حوادث و مقررات متناسب با سطح ریسک نیاز دارد.
در نهایت، مزیت اقتصادی هوش مصنوعی زمانی پایدار خواهد بود که شرکت‌ها بتوانند علاوه بر افزایش بهره‌وری، امنیت و قابلیت اعتماد محصولات خود را نیز اثبات کنند. اگر کنترل‌پذیری این سامانه‌ها هم‌پای قدرت آن‌ها توسعه پیدا نکند، همان فناوری‌ای که قرار است موتور رشد اقتصاد دیجیتال باشد، ممکن است به منبعی برای افزایش هزینه‌های امنیتی، بی‌اعتمادی عمومی و فشار بر سیاست‌گذاران تبدیل شود.