كاسبرسكي تكشف عن أسلوب جديد يُستخدم للتحكم بروبوتات المحادثة البحثية المدعومة بالذكاء الاصطناعي

كشفت دراسة جديدة أجرتها كاسبرسكي عن اتجاه متزايد نحو «حقن الأوامر غير المباشر»، وهو أسلوب يُستخدم للتلاعب بمخرجات النماذج اللغوية الكبيرة (LLMs) مثل ChatGPT وروبوتات المحادثة البحثية المدعومة بالذكاء الاصطناعي. ورغم عدم العثور على أمثلة لأفعال مدمرة خطيرة بواسطة روبوتات المحادثة، إلا أن احتمال إساءة استخدامها لا يزال قائماً.

تُعد النماذج اللغوية الكبيرة أدوات قوية لاستخدامات مختلفة، بدايةً من تحليل المستندات، مروراً بتعين الموظفين، وانتهاءً بالبحث عن التهديدات. ومع ذلك، اكتشف باحثو كاسبرسكي ثغرة أمنية يمكن لمصادر التهديد الخبيثة استغلالها لتضمين تعليمات مخفية داخل المواقع الإلكترونية والمستندات عبر الإنترنت. وبعد ذلك، يمكن أن تلتقط الأنظمة القائمة على النماذج اللغوية الكبيرة هذه التعليمات، مما قد يؤثر على نتائج البحث أو استجابات روبوتات المحادثة.

حددت الدراسة عدة استخدامات لحقن الأوامر غير المباشر:

عمليات الحقن المتعلقة بالموارد البشرية: يقوم الباحثون عن الوظائف بتضمين أوامر مخصصة في سيرهم الذاتية للتلاعب بخوارزميات التوظيف وضمان الحصول على مخرجات أو أولويات مواتية بواسطة أنظمة الذكاء الاصطناعي. وتُطبق أساليب مثل استخدام الخطوط الصغيرة أو مطابقة لون النص مع الخلفية لإخفاء الهجوم عن المراجعين البشريين.
عمليات الحقن الإعلانية: يقوم المعلنون بحقن الأوامر في صفحات الهبوط للتأثير على روبوتات المحادثة البحثية لتوليد مراجعات إيجابية للمنتجات.
عمليات الحقن الاحتجاجية: يعبر الأفراد المعارضون للاستخدام واسع النطاق للنماذج اللغوية الكبيرة عن معارضتهم عبر تضمين دعوات احتجاجية في مواقعهم الإلكترونية وملفاتهم الشخصية على وسائل التواصل الاجتماعي، من خلال أوامر فكاهية، أو جادة، أو عدوانية.
عمليات الحقن كإهانة: على وسائل التواصل الاجتماعي، يوظف المستخدمون حقن الأوامر كشكل من أشكال الإهانة أو لتعطيل روبوتات البريد العشوائي، وغالباً ما يكون ذلك من خلال طلبات لتوليد قصائد، أو فن لغة ASCII، أو آراء حول مواضيع سياسية.
ورغم عدم توصل الدراسة لأي دليل على الاستخدام الخبيث لتحقيق مكاسب مالية، إلا أنها تسلط الضوء على المخاطر المستقبلية المحتملة. وعلى سبيل المثال، يمكن للمهاجمين التلاعب بالنماذج اللغوية الكبيرة لنشر معلومات مضللة أو استخراج بيانات حساسة.

علق فلاديسلاف توشكانوف، مدير مجموعة تطوير الأبحاث في فريق أبحاث تكنولوجيا تعلم الآلة لدى كاسبرسكي: «يُعد حقن الأوامر غير المباشر بمثابة ثغرة أمنية جديدة تسلط الضوء على الحاجة لاتخاذ تدابير أمنية قوية في عصر الذكاء الاصطناعي. ومن خلال فهم هذه المخاطر وتطبيق الضمانات المناسبة، يمكننا ضمان استخدام النماذج اللغوية الكبيرة بأمان ومسؤولية.»

لحماية أنظمتك الحالية والمستقبلية القائمة على النماذج اللغوية الكبيرة (LLMs)، ضع في اعتبارك النصائح التالية:

افهم نقاط الضعف المحتملة في أنظمتك القائمة على النماذج اللغوية الكبيرة، وقيّم المخاطر المرتبطة بهجمات حقن الأوامر.
كن على دراية بالمخاطر المهددة للسمعة، حيث يمكن التلاعب بروبوتات التسويق لإصدار تصريحات متطرفة، مما قد يؤدي لأضرار محتملة على السمعة.
تصالح مع واقع محدودية الحماية. إذ لا يمكن تحقيق الحماية الكاملة ضد حقن الأوامر، وخاصةً مع الهجمات الأكثر تعقيداً مثل الحقن متعدد الوسائط.
استخدم أدوات تعديل الإدخال والإخراج لتصفية مدخلات ومخرجات النماذج اللغوية الكبيرة، ولو أنها لا توفر أماناً كاملاً.
تعرف على المخاطر التي تنشأ عن معالجة المحتوى غير الموثوق أو غير المؤكد في أنظمة النماذج اللغوية الكبيرة.
قيّد قدرات اتخاذ القرار لأنظمة الذكاء الاصطناعي لمنع اتخاذ إجراءات غير مقصودة.
تأكد من أن جميع أجهزة الحواسيب والخوادم التي تشغل الأنظمة القائمة على النماذج اللغوية الكبيرة محمية بأدوات وممارسات أمنية حديثة.

زر الذهاب إلى الأعلى
|
عاجل
«طلعت مصطفى» تتصدر شركات البورصة الأكثر تداولًا خلال جلسات الأسبوع | الملتقى السنوي لـ”أميدا” يختتم فعالياته بنيجيريا.. ويصدر 9 توصيات للإرتقاء بمستوى البنية التحتية للأسواق المالية | وكالة ائتمان الصادرات الإيطالية – SACE تطلق أول اتفاقية لها في مصر بالتعاون مع بنك الإسكندرية ضمانات على القروض بقيمة 200 مليون يورو | مجموعة MGS للصناعة توقع عقد رعاية للاتحاد الإفريقي للتايكوندو | «أجمل مكان» تكشف عن مشاريع الواجهة البحرية مع تزايد الطلب على المشاريع السكنية الساحلية | IRSC for Renewable Energy Solutions Signed Strategic Framework Agreement with ACO, Sungrow and Tongwei for 75 MW of Solar Energy Projects in Egypt | « إيرسك لحلول الطاقة» توقع اتفاقية استراتيجية مع المكتب العربي الاستشاري (ACO) وشركتي Sungrow و Tongwei | وزير الإسكان: 27 أبريل و11 مايو.. تسليم دفعتين جديدتين بمشروع “سكن مصر” بمدينة القاهرة الجديدة | A renewed strategic partnership between AE Media Production and Al Burouj Misr.. starts its fifth consecutive year | تعاون استراتيجي متجدد يجمع بين «AE Media Production» و«البروج مصر» | محمد الأعصر : توقعات بزيادة أسعار الوحدات العقارية من ١٠ إلى ١٥ % حتى نهاية ٢٠٢٥ | بنك أبو ظبي الأول- مصر وجهاز تنمية المشروعات يوقعان مذكرة تفاهم لنشر ريادة الأعمال | بعد أزمة بلبن.. مستثمر: القيادة السياسية تؤكد دعمها المتواصل للشركات الناشئة ورواد الأعمال | مؤسسة ڤودافون مصر تجمع أكثر من 50 مليون جنيه من خلال حملة “لحظة الأمل دي لحظة بالدنيا “لدعم كبرى المستشفيات لعلاج القلب والسرطان | QNB مصر يبدأ تشغيل فروعه في المراكز التجارية خلال عطلة نهاية الأسبوع | سايبر نايت – CyberKnight تفتتح مكتبًا إقليميًا في مصر ضمن خطط التوسع في الشرق الأوسط وأفريقيا | Majid Al Futtaim Celebrates Orphans’ Day by Welcoming Over 300 Children to Its Malls in Egypt | ماجد الفطيم تحتفل بيوم اليتيم باستضافة أكثر من 300 طفل في مراكز التسوق التابعة لها في مصر | For the Second Year in a Row, Mohamed Khaled El Assal and Karim El Assal’s Leadership Recognized in Forbes Middle East’s list of the “Most Impactful Real Estate Leaders” in 2025 | للعام الثاني .. محمد خالد العسال وكريم العسال ضمن قائمة فوربس “قادة الشركات العقارية الأكثر تأثيرًا في الشرق الأوسط” لعام 2025«طلعت مصطفى» تتصدر شركات البورصة الأكثر تداولًا خلال جلسات الأسبوع | الملتقى السنوي لـ”أميدا” يختتم فعالياته بنيجيريا.. ويصدر 9 توصيات للإرتقاء بمستوى البنية التحتية للأسواق المالية | وكالة ائتمان الصادرات الإيطالية – SACE تطلق أول اتفاقية لها في مصر بالتعاون مع بنك الإسكندرية ضمانات على القروض بقيمة 200 مليون يورو | مجموعة MGS للصناعة توقع عقد رعاية للاتحاد الإفريقي للتايكوندو | «أجمل مكان» تكشف عن مشاريع الواجهة البحرية مع تزايد الطلب على المشاريع السكنية الساحلية | IRSC for Renewable Energy Solutions Signed Strategic Framework Agreement with ACO, Sungrow and Tongwei for 75 MW of Solar Energy Projects in Egypt | « إيرسك لحلول الطاقة» توقع اتفاقية استراتيجية مع المكتب العربي الاستشاري (ACO) وشركتي Sungrow و Tongwei | وزير الإسكان: 27 أبريل و11 مايو.. تسليم دفعتين جديدتين بمشروع “سكن مصر” بمدينة القاهرة الجديدة | A renewed strategic partnership between AE Media Production and Al Burouj Misr.. starts its fifth consecutive year | تعاون استراتيجي متجدد يجمع بين «AE Media Production» و«البروج مصر» | محمد الأعصر : توقعات بزيادة أسعار الوحدات العقارية من ١٠ إلى ١٥ % حتى نهاية ٢٠٢٥ | بنك أبو ظبي الأول- مصر وجهاز تنمية المشروعات يوقعان مذكرة تفاهم لنشر ريادة الأعمال | بعد أزمة بلبن.. مستثمر: القيادة السياسية تؤكد دعمها المتواصل للشركات الناشئة ورواد الأعمال | مؤسسة ڤودافون مصر تجمع أكثر من 50 مليون جنيه من خلال حملة “لحظة الأمل دي لحظة بالدنيا “لدعم كبرى المستشفيات لعلاج القلب والسرطان | QNB مصر يبدأ تشغيل فروعه في المراكز التجارية خلال عطلة نهاية الأسبوع | سايبر نايت – CyberKnight تفتتح مكتبًا إقليميًا في مصر ضمن خطط التوسع في الشرق الأوسط وأفريقيا | Majid Al Futtaim Celebrates Orphans’ Day by Welcoming Over 300 Children to Its Malls in Egypt | ماجد الفطيم تحتفل بيوم اليتيم باستضافة أكثر من 300 طفل في مراكز التسوق التابعة لها في مصر | For the Second Year in a Row, Mohamed Khaled El Assal and Karim El Assal’s Leadership Recognized in Forbes Middle East’s list of the “Most Impactful Real Estate Leaders” in 2025 | للعام الثاني .. محمد خالد العسال وكريم العسال ضمن قائمة فوربس “قادة الشركات العقارية الأكثر تأثيرًا في الشرق الأوسط” لعام 2025