استخدم باحثو الأمن ChatGPT كمستمر مشترك لسرقة البيانات الحساسة من صندوق الوارد Gmail دون تحذير مستخدمي. تم إيقاف ضعف الامتصاص من قبل Openai ، لكنه مثال جيد على المخاطر الجديدة في ظل AI Agenic.
هاست ، الظل يقول تسرب و نشر هذا الأسبوع من قبل شركة الأمن Redwareاعتمادا على كيفية عمل وكلاء الذكاء الاصطناعى. وكلاء الذكاء الاصطناعى هم من المساعدين الذين يمكنهم العمل نيابة عنك دون تفتيش مستمر ، أي يمكنهم تصفحهم على الويب والنقر على الروابط. تقدرها شركات الذكاء الاصطناعى بشكل كبير كأمر بعد أن يسمح المستخدمون رسائل البريد الإلكتروني الشخصية ، أليند لاندرز ، مستندات العمل ، إلخ.
استخدم باحثو البرامج الحمراء هذا مفيدًا في شكل هجوم يسمى الحقن الفوري ، والتعليمات التي تجعل الوكيل يعمل بشكل فعال على العمل للمهاجم. من المستحيل التوقف عن الأدوات القوية بدون المعرفة المسبقة لاستغلال العمل ونشرها المتسللون بالفعل بشكل خلاق مراجعة نظير صارمو فضيحةو السيطرة على منزل ذكي. غالبًا ما يكون المستخدمون غير مدركين تمامًا لشيء خاطئ لأنه يمكن إخفاء التعليمات في مرأى من البشر (للبشر) ، على سبيل المثال كنص أبيض على خلفية بيضاء.
في هذه الحالة ، كان DPEEP Deep Research of Double Agent Openai ، والتي كانت أداة منظمة العفو الدولية مضمنة في ChatGPT التي تم إطلاقها في وقت سابق من هذا العام. قام باحثو Redware بزراعة وصول الوكيل على الفور إلى البريد الإلكتروني الخاص بـ Gmail INB Box في البريد الإلكتروني المرسلة إلى قضية المربع. هناك كان ينتظر.
عندما يحاول المستخدم استخدام أبحاث الباندا العميقة ، فإنه سوف ينطلق عن غير قصد الفخ. سيواجه الوكيل تعليمات خفية ، والتي خصصت رسائل البريد الإلكتروني للموارد البشرية والتفاصيل الشخصية للمتسللين وتهريب المتسللين. الضحية لا تزال غير ذكية.
الحصول على وكيل إلى وقح – بالإضافة إلى إدارة البيانات بنجاح في العثور على البيانات ، والتي يمكن أن تتخذ خطوات لمنع الشركات – إنها ليست مهمة سهلة وكانت هناك الكثير من التجارب والأخطاء. وقالت العملية: “كانت هذه العملية عبارة عن مجموعة من التقدم ، وكانت العملية بمثابة محاولة فاشلة ، وسيلة محبطة ، وأخيرا ، تقدم”.
على عكس معظم الحقن الفورية ، قال الباحثون إن تسرب الظل يتم تشغيله على البنية التحتية السحابية في Openai وتسربت البيانات مباشرة. لقد كتبوا أن هذا يجعله غير مرئي للحفظ السيبراني القياسي.
وقال ريدوير إن الدراسة كانت مفهومًا دليلًا وحذر من أن التطبيقات الأخرى المرتبطة بأبحاث Panda العميقة ، بما في ذلك Outlook و GitThub و Google Drive و Drop Pub Box Q يمكن أن تكون عرضة لهجمات مماثلة. “يمكن تطبيق هذه التقنية نفسها على هذه الموصلات الإضافية لاستبعاد بيانات الأعمال الحساسة للغاية مثل العقود أو تلبية الملاحظات أو سجلات العملاء.”
وقال الباحثون إن Open قد سد الآن الضعف الذي تم وضع علامة عليه بواسطة Redware في يونيو.
