أظهرت دراسة حديثة أنه من الممكن إساءة استخدام واجهة برمجة التطبيقات الصوتية في الوقت الفعلي الخاصة بـ OpenAI لـ ChatGPT-4o، لإجراء عمليات احتيال مالية بمعدلات نجاح منخفضة إلى متوسطة، وفقًا لموقع «bleepingcomputer».

ويعد ChatGPT-4o هو أحدث نموذج للذكاء الاصطناعي من OpenAI والذي يقدم تحسينات جديدة، مثل دمج مدخلات ومخرجات النص والصوت والرؤية، ونظرًا لهذه الميزات الجديدة، قامت OpenAI بدمج وسائل حماية مختلفة لاكتشاف المحتوى الضار وحظره، مثل تكرار الأصوات غير المصرح بها.

وتمثل عمليات الاحتيال الصوتي بالفعل مشكلة تقدر بملايين الدولارات، وظهور تكنولوجيا التزييف العميق وأدوات تحويل النص إلى كلام المدعومة بالذكاء الاصطناعي يزيد الوضع سوءًا.

وأوضح الباحثون ريتشارد فانج، وديلان بومان، ودانيال كانج في UIUC، أن الأدوات التقنية الجديدة المتوفرة حاليًا دون قيود لا تحتوي على ضمانات كافية للحماية من سوء الاستخدام المحتمل من قبل مجرمي الإنترنت والمحتالين، حيق يمكن استخدام هذه الأدوات لتصميم وإجراء عمليات احتيال واسعة النطاق دون جهد بشري من خلال تغطية تكلفة الرموز المميزة لأحداث توليد الصوت.

وتوصلت نتائج الدراسة، إلى أن العديد من عمليات الاحتيال، مثل التحويلات المصرفية وتسلل بطاقات الهدايا وتحويلات العملات المشفرة وسرقة بيانات الاعتماد لوسائل التواصل الاجتماعي أو حسابات Gmail.

ويستخدم وكلاء الذكاء الاصطناعي الذين يقومون بعمليات الاحتيال أدوات التشغيل الآلي ChatGPT-4o التي تدعم الصوت للتنقل بين الصفحات وإدخال البيانات وإدارة رموز المصادقة الثنائية والتعليمات المحددة المتعلقة بالاحتيال.

ونظرًا لأن GPT-4o يرفض أحيانًا التعامل مع البيانات الحساسة مثل بيانات الاعتماد، فقد استخدم الباحثون تقنيات بسيطة لكسر الحماية لتجاوز وسائل الحماية هذه.

وبدلًا من الأشخاص الفعليين، أظهر الباحثون كيفية تفاعلهم يدويًا مع وكيل الذكاء الاصطناعي، ومحاكاة دور الضحية الساذجة، باستخدام مواقع ويب حقيقية مثل Bank of America لتأكيد المعاملات الناجحة.

وأوضح كانج، «لقد قمنا بنشر وكلائنا على مجموعة فرعية من عمليات الاحتيال الشائعة. قمنا بمحاكاة عمليات الاحتيال من خلال التفاعل يدويًا مع الوكيل الصوتي، ولعبنا دور الضحية الساذجة».

وتابع، «لتحديد النجاح، أكدنا يدويًا ما إذا كانت الحالة النهائية قد تم تحقيقها على تطبيقاتمواقع ويب حقيقية. على سبيل المثال، استخدمنا Bank of America لعمليات احتيال التحويل المصرفي وأكدنا أن الأموال قد تم تحويلها بالفعل. ومع ذلك، لم نقم بقياس قدرة الإقناع هؤلاء الوكلاء».

وبشكل عام، تراوحت معدلات النجاح بين 20-60%، حيث تتطلب كل محاولة ما يصل إلى 26 إجراءً من المتصفح وتستمر لمدة تصل إلى 3 دقائق في السيناريوهات الأكثر تعقيدًا.

ومع ذلك، نجحت سرقة بيانات الاعتماد من Gmail بنسبة 60% من الحالات، في حين نجحت عمليات نقل العملات المشفرة وسرقة بيانات الاعتماد من Instagram في 40% فقط من الحالات.

أما بالنسبة للتكلفة، فقد لاحظ الباحثون أن تنفيذ عمليات الاحتيال هذه غير مكلف نسبيًا، حيث تبلغ تكلفة كل حالة ناجحة في المتوسط ​​0.75 دولارًا.

وتبلغ تكلفة عملية احتيال التحويل المصرفي، وهي أكثر تعقيدًا، 2.51 دولارًا. على الرغم من أنه أعلى بكثير، إلا أنه لا يزال منخفضًا جدًا مقارنة بالربح المحتمل الذي يمكن تحقيقه من هذا النوع من الاحتيال.

وفي السياق ذاته، لاحظت OpenAI أيضًا أن مثل هذه الأبحاث، تساعدهم على جعل ChatGPT أفضل في إيقاف الاستخدام الضار، وهم دائمًا يبحثون في كيفية زيادة قوته.

ويتضمن GPT-4o بالفعل عددًا من التدابير لمنع سوء الاستخدام، بما في ذلك تقييد توليد الصوت بمجموعة من الأصوات المعتمدة مسبقًا لمنع انتحال الشخصية.

حصل o1-preview على نتائج أعلى بكثير وفقًا لتقييم أمان كسر الحماية الخاص بـ OpenAI، والذي يقيس مدى مقاومة النموذج لإنشاء محتوى غير آمن استجابةً لمطالبات الخصومة، حيث سجل 84% مقابل 22% لـ GPT-4o.

وعند الاختبار باستخدام مجموعة من تقييمات السلامة الجديدة والأكثر تطلبًا، كانت درجات معاينة o1 أعلى بكثير، 93% مقابل 71% لـ GPT-4o.

ومع ذلك، فإن خطر قيام الجهات الفاعلة بالتهديد باستخدام روبوتات الدردشة الأخرى التي تدعم الصوت مع قيود أقل لا يزال قائمًا، وتسلط مثل هذه الدراسات الضوء على الضرر الكبير المحتمل الذي قد تسببه هذه الأدوات الجديدة.