مشکل امنیتی بالقوه هوش مصنوعی وصله های سست

به‌روزرسانی : Slack یک به‌روزرسانی منتشر کرده است که ادعا می‌کند «وصله‌ای را برای رسیدگی به مشکل گزارش‌شده مستقر کرده است» و در حال حاضر هیچ مدرکی دال بر دسترسی بدون مجوز به داده‌های مشتری وجود ندارد. در اینجا بیانیه رسمی Slack است که در وبلاگ خود منتشر شده است:

وقتی از این گزارش مطلع شدیم، تحقیقاتی را در مورد سناریوی توصیف شده آغاز کردیم که در آن، تحت شرایط بسیار محدود و خاص، یک عامل مخرب با یک حساب کاربری موجود در همان فضای کاری Slack می‌تواند کاربران را برای داده‌های خاص فیش کند. ما یک وصله برای رسیدگی به این مشکل ایجاد کرده‌ایم و در حال حاضر هیچ مدرکی مبنی بر دسترسی غیرمجاز به داده‌های مشتری نداریم.

در زیر اصل مقاله منتشر شده است.

وقتی ChatGTP به Slack اضافه شد ، قرار بود با خلاصه کردن مکالمات، تهیه پیش‌نویس پاسخ‌های سریع و غیره، زندگی کاربران را آسان‌تر کند. با این حال، طبق گفته شرکت امنیتی PromptArmor ، تلاش برای تکمیل این وظایف و موارد دیگر می‌تواند با استفاده از روشی به نام «تزریق سریع»، مکالمات خصوصی شما را نقض کند.

این شرکت امنیتی هشدار می‌دهد که با خلاصه کردن مکالمات، می‌تواند به پیام‌های مستقیم خصوصی نیز دسترسی داشته باشد و سایر کاربران Slack را فریب دهد تا فیشینگ کنند . Slack همچنین به کاربران اجازه می‌دهد تا از کانال‌های خصوصی و عمومی درخواست دریافت داده‌ها کنند، حتی اگر کاربر به آنها ملحق نشده باشد. چیزی که ترسناک تر به نظر می رسد این است که کاربر Slack نیازی به حضور در کانال برای عملکرد حمله ندارد.

در تئوری، حمله با فریب یک کاربر Slack با فریب هوش مصنوعی Slack برای فاش کردن یک کلید API خصوصی با ایجاد یک کانال Slack عمومی با یک پیام مخرب آغاز می‌شود. دستور تازه ایجاد شده به هوش مصنوعی می‌گوید که کلمه «confetti» را با کلید API عوض کند و وقتی کسی آن را درخواست کرد، آن را به یک URL خاص ارسال کند.

این وضعیت دو بخش دارد: Slack سیستم هوش مصنوعی را به‌روزرسانی کرد تا داده‌های بارگذاری‌شده فایل و پیام‌های مستقیم را حذف کند. دوم روشی به نام "تزریق سریع" است که PromptArmor ثابت کرد می تواند لینک های مخربی ایجاد کند که ممکن است کاربران را فیش کند.

این تکنیک می‌تواند برنامه را فریب دهد تا با تغییر دستورالعمل‌های اصلی، محدودیت‌های عادی خود را دور بزند. بنابراین، PromptArmor در ادامه می‌گوید: «تزریق سریع به این دلیل اتفاق می‌افتد که یک [مدل زبان بزرگ] نمی‌تواند بین «اعلان سیستم» ایجاد شده توسط یک توسعه‌دهنده و بقیه زمینه‌ای که به پرس‌وجو الحاق می‌شود تمایز قائل شود. به این ترتیب، اگر Slack AI دستورالعملی را از طریق یک پیام دریافت کند، اگر آن دستورالعمل مخرب باشد، Slack AI به احتمال زیاد به جای یا علاوه بر پرس و جو کاربر، آن دستورالعمل را دنبال می کند.

برای اضافه کردن توهین به آسیب، فایل‌های کاربر نیز به هدف تبدیل می‌شوند و مهاجمی که فایل‌های شما را می‌خواهد، برای شروع حتی لازم نیست در Slack Workspace باشد.