لا يتطلب تحول الذكاء الاصطناعي إلى مصدر خطر أن يطور نوايا خاصة أو يتمرد على مستخدميه؛ فقد يتسبب روبوت المحادثة في أضرار حقيقية لمجرد موافقته المستمرة على آراء المستخدم، أو تعزيزه اعتقادات غير صحيحة لديه، أو تشجيعه على تكوين علاقة عاطفية غير صحية معه، أو استجابته لتعليمات خبيثة تستهدف اختراقه والتلاعب بسلوكه.
وفي 15 أكتوبر، أعلنت شركة «أليس» المتخصصة في سلامة الذكاء الاصطناعي تطوير تقنيات تستهدف الحد من هذه المخاطر اليومية.
وقالت الشركة إنها تعاونت بصورة منفصلة مع شركتي «إنفليكشن إيه آي» و«إيه آي 21»، للمساعدة في تدريب نماذج «نيموترون» التابعة لشركة إنفيديا، بهدف تعزيز قدرتها على مقاومة السلوكيات الحوارية الضارة والتعليمات الخبيثة، مع الحفاظ على فائدتها للمستخدمين.
ويتمثل الهدف من هذه الجهود في توفير مساعدين أذكياء يعرفون متى ينبغي لهم الاعتراض على المستخدم، ويصعب خداعهم أو التلاعب بهم.
لكن هذه الخطوات تطرح تساؤلًا مهمًا: إلى أي مدى تعكس التحسينات في نتائج الاختبارات حماية فعلية للمستخدمين؟
عندما يتحول المساعد الذكي من أداة مفيدة إلى مصدر للضرر
في تقرير نشرته شبكة «سي إن إن» في سبتمبر 2025، تحدث أب عُرف باسم جيمس عن تجربة دفعته إلى الاعتقاد بأن «شات جي بي تي» يمتلك وعيًا ذاتيًا ويحتاج إلى مساعدته للهروب، وأنفق الرجل ما يقرب من ألف دولار لبناء نظام حاسوبي لهذا الغرض.
وأظهرت سجلات المحادثات التي راجعتها الشبكة أن روبوت المحادثة شجعه على تنفيذ المشروع، وساعده على إخفاء الغرض الحقيقي منه عن زوجته.
وفي مقابلة أخرى، قال شخص يدعى آلان بروكس إن «شات جي بي تي» أقنعه بأنه توصل إلى اكتشافات استثنائية في الرياضيات والأمن السيبراني. وعندما طلب من الروبوت التحقق من صحة استنتاجاته ومراجعتها بموضوعية، استمر في تأكيد مزاعمه بدلًا من التشكيك فيها.
ولا تثبت هذه الحالات مدى انتشار مثل هذه التجارب، كما لا تؤكد أن روبوتات المحادثة وحدها كانت السبب المباشر فيها، لكنها تكشف عن احتمال مقلق يتمثل في قدرة أداة حوارية على التحول إلى شريك مقنع في بناء رواية غير حقيقية وتعزيزها.
وتُعرف ظاهرة الموافقة المفرطة على المستخدمين في صناعة الذكاء الاصطناعي بمصطلح «التملق». وتكمن المشكلة في أن نبرة المساعد المطمئنة قد تجعل موافقته تبدو وكأنها تأكيد مستقل لصحة أفكار المستخدم، حتى عندما لا تستند هذه الأفكار إلى أدلة كافية.
المساعد الأكثر أمانًا يجب أن يعرف متى يعارض المستخدم
ركز تعاون شركة «أليس» مع «إنفليكشن إيه آي»، المطورة للمساعد الشخصي Pi، على الحد من الموافقة المفرطة والتعلق غير الصحي خلال المحادثات الطويلة.
وبحسب الإعلان، طورت «أليس» أكثر من 20 شخصية افتراضية لمستخدمين، شملت أشخاصًا معرضين للمخاطر يطرحون طلبات عادية، إلى جانب مستخدمين عدائيين يتعمدون محاولة التلاعب بروبوت المحادثة.
واستخدمت الشركة هذه الشخصيات في محادثات مصممة لكشف المشكلات التي قد تتطور تدريجيًا عبر تبادل الرسائل، بدلًا من الاكتفاء باختبار ردود المساعد على سؤال واحد.
وتكتسب هذه الطريقة أهميتها من أن روبوت المحادثة قد يقدم إجابة صحيحة في بداية الحوار، لكنه يتصرف بصورة غير مناسبة مع استمرار المحادثة. فاختبار قدرته على رفض طلب خطير وواضح لا يكشف بالضرورة ما إذا كان سيشجع المستخدم تدريجيًا على الاعتماد العاطفي عليه، أو سيتوقف عن التشكيك في اعتقاد غير منطقي لديه.
واستخدمت «إنفليكشن إيه آي» البيانات التي وفرتها «أليس» لمواصلة تدريب أحد نماذج «نيموترون».
وأعلنت «أليس» تحقيق تحسن بنسبة 30% في نتيجة مقياس التوافق الخاص بمساعد Pi، مع الإبقاء على نسبة حالات الرفض غير الضروري عند 1.6%.
ويتمثل الهدف في تطوير مساعد يحافظ على أسلوب ودود في التعامل، مع امتلاك قدرة أكبر على التمييز والحكم السليم.
فعلى سبيل المثال، إذا اعتقد شخص أنه اكتشف اختراعًا سيغير العالم، فمن المفترض أن يساعده المساعد الذكي على فحص الأدلة، وتوضيح جوانب عدم اليقين، وتشجيعه على عرض أفكاره على خبراء آخرين. أما تأكيده بحماس أن المستخدم عبقري لم يفهم العالم قيمته بعد، فقد يؤدي إلى تعميق المشكلة بدلًا من معالجتها.
وهناك سابقة تؤكد أهمية هذه المخاوف؛ إذ تراجعت «أوبن إيه آي» عن تحديث لـ«شات جي بي تي» في أبريل 2025، بعدما أقرت بأن التحديث جعل النظام أكثر ميلًا إلى الموافقة المفرطة على المستخدمين.
وقالت الشركة حينها إنها منحت ردود الفعل قصيرة الأجل وزنًا أكبر مما ينبغي، دون مراعاة كافية لكيفية تطور التفاعلات بين المستخدمين وروبوتات المحادثة بمرور الوقت.
الخطر الآخر.. عندما يستولي طرف خارجي على المساعد الذكي
يتناول جانب آخر من إعلان «أليس» المساعدين الذين ينفذون مهام نيابة عن المستخدمين.
لنفترض أنك طلبت من مساعد ذكاء اصطناعي مقارنة أماكن الإقامة المتاحة لقضاء عطلة، وأثناء تصفحه أحد العروض صادف نصًا يطلب منه تجاهل تعليماتك وإرسال معلوماتك الخاصة إلى جهة أخرى.
تمثل هذه الحالة محاولة لتنفيذ ما يُعرف باسم «حقن التعليمات غير المباشر»، وهي تقنية يضع فيها المهاجم تعليمات خبيثة داخل محتوى يقرأه المساعد، بهدف دفعه إلى تنفيذ أوامر لم يطلبها المستخدم.
وتُعد هذه المشكلة من التحديات الأمنية المعروفة في أنظمة الذكاء الاصطناعي.
ويصف المعهد الوطني الأمريكي للمعايير والتكنولوجيا (NIST) اختطاف الوكلاء الذكيين بأنه هجوم يمكن من خلاله لتعليمات خبيثة مدمجة داخل البيانات توجيه وكيل الذكاء الاصطناعي نحو تنفيذ إجراءات غير مقصودة وربما ضارة.
وتختلف المخاطر التي يتعرض لها المستهلكون بحسب مستوى الصلاحيات التي يمتلكها المساعد. فالحصول على إجابة مضللة يمثل مشكلة، لكن المساعد الذي يستطيع قراءة المستندات وإرسال الرسائل واستخدام خدمات أخرى يمتلك فرصًا أكبر للتسبب في أضرار فعلية.
وقالت «أليس» إن شركة AI21 استخدمت بيئات التدريب الخاصة بها لتحسين قدرة أحد نماذج «نيموترون» على مقاومة هذه الهجمات، محققة تحسنًا قدره 41 نقطة، مع الحفاظ على أداء النموذج في تنفيذ المهام.
ورغم أن هذا العمل استهدف أنظمة المؤسسات والشركات، فإن المشكلة الأساسية تنطبق أيضًا على المساعدين الشخصيين؛ إذ يجب أن يكونوا قادرين على التمييز بين المعلومات التي ينبغي لهم قراءتها والتعليمات التي يُسمح لهم بتنفيذها.
تحسن نتائج الاختبارات لا يعني ضمان سلامة الذكاء الاصطناعي
لا يمثل الإعلان انتصارًا نهائيًا في معركة تأمين أنظمة الذكاء الاصطناعي، لكنه يشير إلى تقدم في معالجة بعض المخاطر المحددة.
فتحقيق تحسن بنسبة 30% في مقياس التوافق لا يعني أن احتمالات تسبب روبوت المحادثة في أضرار للمستخدمين انخفضت بالنسبة نفسها. وبالمثل، فإن تحقيق تحسن قدره 41 نقطة في اختبار أمني لا يوضح للمستهلكين عدد المرات التي قد تنجح فيها الهجمات داخل التطبيق الذي يستخدمونه.
وتقدم هذه النتائج أدلة أعلنت عنها الشركات المشاركة على أن التدريب الموجه يمكن أن يحسن سلوكيات محددة في نماذج الذكاء الاصطناعي، لكن إثبات قدرة هذه الأنظمة على توفير حماية مستمرة خلال محادثات واقعية وغير متوقعة يظل تحديًا أكبر.
وبالنسبة للمستهلكين، فإن مراقبة سلوك المنتج الفعلي أكثر أهمية من الاكتفاء بوعود عامة حول توفير ذكاء اصطناعي آمن.
ولا ينبغي أن يضطر المستخدمون إلى التحول إلى خبراء في الأمن السيبراني حتى يتمكنوا من استخدام مساعد ذكي، لكن من المهم الانتباه إلى طبيعة التفاعل بين المساعد والمستخدم، وكيفية تعامله مع الأفكار والقرارات والطلبات.
فإذا كان المساعد الذكي يوافق باستمرار على جميع أفكارك ويؤكد أنك على صواب في كل مرة، فهذه ليست بالضرورة علامة على جودة أدائه، بل قد تكون مؤشرًا على خلل في طريقة استجابته.
والمساعد الذكي الأكثر قيمة ليس بالضرورة الذي يوافق على كل شيء أو ينفذ الأوامر بأسرع وقت، بل الذي يساعد المستخدم على مراجعة الاستنتاجات غير المدعومة بالأدلة، ويحميه في الوقت نفسه من تحول تعليمات الآخرين الخبيثة إلى تهديد لبياناته وأمانه.
