أمن الذكاء الاصطناعي في 2026: حوكمة أنظمة تتصرّف من تلقاء نفسها

قبل عامين كان سؤال مجلس الإدارة هو: هل نسمح للموظفين باستخدام المحادثات الذكية؟ هذا السؤال حُسم وفقد أهميته. فالذكاء الاصطناعي صار داخل المنتجات: مسارات استرجاع تقرأ مستودعات المستندات الداخلية، ومساعدون موصولون بأنظمة التذاكر وإدارة العملاء، ووكلاء يستدعون واجهات برمجية، ويفتحون سجلات، وفي بعض التطبيقات يحرّكون أموالاً.

هذا التحوّل يغيّر مسألة الضوابط جذرياً. لم تعودوا تؤمّنون أداةً يستخدمها موظفوكم، بل نظاماً يتخذ إجراءات نيابةً عنكم، بصلاحيات أصدرتموها أنتم، بناءً على تعليمات ربما قرأها من مستند يسيطر عليه مهاجم.

ما الذي تغيّر فعلاً

أربعة تحوّلات تفسّر معظم المخاطر الجديدة، وليس من بينها أن النموذج صار أذكى.

• من محادثة إلى نظام. لم يعد أي تطبيق جادّ نموذجاً مجرداً، بل مساراً متكاملاً: مسترجِع يسحب من مستودعاتكم، وقالب أوامر، ونموذج، ومجموعة أدوات قابلة للاستدعاء، ومخرجات تُعرض داخل تطبيق. ولكل مكوّن نمط إخفاق خاص به.
• من مخاطر النموذج إلى مخاطر النظام. في التقييمات التي ننفّذها، نادراً ما يكون النموذج نقطة الضعف — بل البنية المحيطة: حساب خدمة بصلاحيات مفرطة، أو مخزن متجهات بلا ضوابط وصول، أو مسترجِع يعيد سجلات الموارد البشرية لمن يحسن صياغة السؤال.
• اللاحتمية بوصفها مشكلة رقابية. المدخل نفسه قد ينتج مخرجاً مختلفاً. وأدلة الاختبار المصمّمة للبرمجيات الحتمية — «نفّذنا الاختبار فنجح، وهذه لقطة الشاشة» — لا تثبت الكثير هنا.
• الاستقلالية. الوكيل القادر على استدعاء الأدوات مُنِح صلاحيات فعلياً. ومعظم المنشآت تمنحها بسخاء يفوق ما تمنحه لموظف مبتدئ يؤدي المهمة نفسها.

طبقات ضمان الذكاء الاصطناعي

من المفيد التوقف عن الحديث عن «مخاطر الذكاء الاصطناعي» ككتلة واحدة. خمس طبقات، لكل منها نمط إخفاق ومالك مختلف:

الطبقة	ما الذي يختل	الضابط الذي ينفع فعلاً
1. البيانات	دخول بيانات شخصية إلى التدريب أو الاسترجاع دون أساس نظامي. ومخزن المتجهات لا يرث ضوابط الوصول من النظام المصدر، فيتحوّل الاسترجاع بهدوء إلى التفاف عليها.	صنّفوا قبل الإدخال. وافرضوا صلاحيات المستند لحظة الاسترجاع، لا في الواجهة فقط.
2. النموذج	تغييرات غير موثّقة تبدّل السلوك بين ليلة وضحاها. والنماذج المستضافة تنقل البيانات عبر الحدود. والضبط الدقيق يرسّخ بيانات قد تضطرون لحذفها لاحقاً.	ثبّتوا إصدارات النماذج، واشترطوا تعاقدياً الإشعار بالتغيير، وعاملوا الاستدلال المستضاف كنقل عابر للحدود.
3. التطبيق	عرض مخرجات النموذج أو تنفيذها دون تحقق، فيتحوّل النموذج اللغوي إلى ناقل حقن للتطبيق المحيط.	عاملوا كل مخرج كمدخل غير موثوق: تحقّقوا منه ورمّزوه وقيّدوه قبل تمريره.
4. الوكيل والأدوات	استقلالية مفرطة: صلاحيات دائمة، ونطاقات واجهات واسعة، وغياب خطوة موافقة قبل الإجراءات غير القابلة للتراجع.	أقل صلاحية لكل أداة، ورموز قصيرة الأجل محدّدة النطاق، وتدخّل بشري في كل ما لا يمكن التراجع عنه.
5. الإشراف	لا حصر، ولا مالك محدّد، ولا دورية مراجعة. ينحرف النظام ولا يلاحظ أحد حتى تتحول المسألة إلى ملاحظة تدقيق.	حصر بمالك مسؤول لكل نظام، ومراجعة مجدولة تُوثَّق نتائجها.

أين تُهاجَم أنظمة الذكاء الاصطناعي فعلياً

تُعد قائمة OWASP لأهم عشرة مخاطر لتطبيقات النماذج اللغوية أنفع مرجع عام هنا. وهذا تلخيصها بما نراه عملياً في المملكة:

• حقن الأوامر. المباشر هو محاولة مستخدم إخراج النظام عن تعليماته. أما غير المباشر فهو الأخطر: حمولة كامنة في مستند أو صفحة أو تذكرة دعم يسحبها المسترجِع فينفّذها النموذج، دون أن يلمس المهاجم واجهتكم إطلاقاً.
• تسميم البيانات والفهارس. إذا كان بإمكان أي شخص الكتابة في مصدر يفهرسه المسترجِع — ويكي أو مجلد مشترك أو طابور تذاكر — فبإمكانه التأثير في الإجابات للجميع.
• إفشاء المعلومات الحساسة. غالباً ليس تسريباً لبيانات التدريب، بل مسترجِعاً يعيد مستنداً لم يكن السائل مخوّلاً برؤيته.
• الاستقلالية المفرطة. الوكيل يستطيع أكثر مما تتطلبه المهمة، فيرث الحقن الناجح كل تلك القدرة.
• سلسلة الإمداد. نماذج وإضافات وخدمات تضمين وقواعد متجهات تُدخل بتدقيق أقل مما تناله مكتبة برمجية عادية.
• كشف النموذج والواجهات. نقاط استدلال بلا مصادقة ولا حدود معدّل ولا سجلات — تُنشأ أحياناً بهدوء أثناء إثبات مفهوم ولا تُزال بعده.

المشهد التنظيمي في المملكة

لا يوجد «نظام ذكاء اصطناعي» واحد تشيرون إليه وتنتهي المسألة. ما ينطبق هو حزمة التزامات قائمة إضافة إلى إرشادات خاصة بالذكاء الاصطناعي:

• سدايا — الهيئة السعودية للبيانات والذكاء الاصطناعي تضع التوجه الوطني، وأصدرت مبادئ أخلاقيات الذكاء الاصطناعي وإرشادات للذكاء الاصطناعي التوليدي، وهي كذلك الجهة المنظِّمة للبيانات الشخصية.
• نظام حماية البيانات الشخصية — ينطبق على معالجة الذكاء الاصطناعي كما ينطبق على غيرها تماماً: الأساس النظامي، وتحديد الغرض، والاحتفاظ، وحقوق أصحاب البيانات، وقواعد النقل عبر الحدود، وكلها تقيّد بيانات التدريب ومجموعة الاسترجاع والأوامر النصية.
• الضوابط الأساسية للأمن السيبراني — نظام الذكاء الاصطناعي يبقى نظام تقنية معلومات. فحصر الأصول وضوابط الوصول والتسجيل والمراقبة ومتطلبات الأطراف الخارجية والحوسبة السحابية كلها تنطبق، وهنا تخفق معظم تطبيقات الذكاء الاصطناعي في أول تقييم. ويغطي دليل الضوابط الأساسية هذا الجانب.
• الجهات القطاعية — على المؤسسات المالية تحديداً توقّع تطبيق متطلبات حوكمة النماذج وقابلية التفسير والإسناد الخارجي على القرارات المدفوعة بالذكاء الاصطناعي.
• المرجعيات الدولية — أيزو/آيإي‌سي 42001 لأنظمة إدارة الذكاء الاصطناعي، وإطار NIST لإدارة مخاطر الذكاء الاصطناعي، يمنحان المدققين هيكلاً معترفاً به. أما نظام الاتحاد الأوروبي للذكاء الاصطناعي فيهمّ إذا استُخدمت مخرجات نظامكم داخل الاتحاد، أياً كان مقرّكم.

قائمة ضوابط تصمد أمام التدقيق

الترتيب مهم، فكل خطوة تجعل التالية أرخص.

1. احصروا كل نظام ذكاء اصطناعي، بما فيها ما لم يخبركم به أحد. ابدؤوا من تقارير المصروفات وسجلات الدخول الموحّد وإضافات المتصفح. فالذكاء الاصطناعي الظِّلّي هو القاعدة لا الاستثناء، ولا يمكن حوكمة ما ليس مدرجاً في قائمة.
2. صنّفوا حسب الأثر والاستقلالية. محوران: ماذا يحدث إن أخطأ، وهل يستطيع التصرف دون بشر. مساعد صياغة ووكيل يملك صلاحية واجهة مدفوعات ليسا خطراً واحداً ولا يستحقان الضوابط ذاتها.
3. عالجوا طبقة البيانات أولاً. حدّدوا ما يجوز إدخاله، وأسّسوا الأساس النظامي، واضبطوا مدد الاحتفاظ، والأهم: افرضوا صلاحيات النظام المصدر لحظة الاسترجاع. فمعظم حوادث الإفشاء تُوأد هنا.
4. قيّدوا الوكيل. صلاحية واحدة محدّدة النطاق لكل أداة، قصيرة الأجل، بأقل امتياز. وموافقة بشرية صريحة على كل ما لا يمكن التراجع عنه: المدفوعات، والحذف، والمراسلات الخارجية، وتغييرات الإنتاج.
5. اختبروا عدائياً لا وظيفياً. اختبروا الأوامر بعقلية مهاجم، وازرعوا حقناً غير مباشر في مستند يفهرسه المسترجِع وراقبوا هل ينفّذ. فاختبار أن المساعد يجيب بصورة صحيحة لا يثبت شيئاً في هذا الباب.
6. سجّلوا التفاعل كاملاً. الأمر النصي، والسياق المسترجَع، واستدعاءات الأدوات، والمخرجات، ومن وافق على ماذا. فتسجيل الإجابة النهائية وحدها يجعل الحوادث غير قابلة لإعادة البناء — وهذا هو الدليل الذي سيطلبه المقيّم.
7. عيّنوا مالكاً ودورية مراجعة. شخص بالاسم، ومراجعة مجدولة، وسجل مكتوب بالنتيجة. و«فريق الذكاء الاصطناعي» ليس مالكاً.
8. تعاقدوا على ذلك. استخدام بيانات التدريب، والإشعار بتغيير النموذج، وموقع البيانات، وحقوق الحذف، وصلاحية التدقيق. فإعادة التفاوض بعد النشر أغلى بكثير من السؤال قبله.

الأخطاء الخمسة الأكثر كلفة

1. اعتبار النموذج هو الخطر. الخطر عادةً في التكامل. والوقت المنفق على تقييم معايير أمان النماذج هو وقت لم يُنفق على حساب الخدمة مفرط الصلاحيات.
2. سياسة بلا حصر. سياسة استخدام مقبول تُعمَّم على الموظفين بينما أحد عشر نظاماً غير موثّق يعمل في الإنتاج.
3. تسجيل الإجابة دون السياق. بغير المستندات المسترجَعة واستدعاءات الأدوات لا يمكنكم تفسير سبب تصرّف النظام.
4. صلاحيات دائمة للوكلاء. مريحة أثناء التجربة، وهي أكبر مضخّم لكل ضعف آخر.
5. افتراض أن شهادة المورّد تغطيكم. شهادته تغطي منصته. أما إعداداتكم وبياناتكم وصلاحيات وكيلكم فهي مسؤوليتكم.

من أين تبدؤون هذا الربع

إن لم تفعلوا سوى شيء واحد: ابنوا الحصر، وصنّفوا حسب الاستقلالية، وأصلحوا صلاحيات الاسترجاع في النظام الأعلى أثراً. تستغرق هذه الثلاثة أسابيع لا أرباعاً، وتزيل أنماط الإخفاق التي تتحول إلى حوادث إفشاء. وكل ما تبقّى في هذا المقال يصبح أسهل بعدها.

أسئلة متكررة

هل ينطبق نظام حماية البيانات الشخصية على البيانات المستخدمة في التدريب أو الأوامر؟

نعم. ينطبق النظام على البيانات الشخصية بغض النظر عن التقنية المعالِجة. فإذا استُخدمت في التدريب أو الضبط الدقيق أو الاسترجاع أو لُصقت في أمر نصي، تسري الالتزامات ذاتها — الأساس النظامي، وتحديد الغرض، وحدود الاحتفاظ، وحقوق أصحاب البيانات، وضوابط النقل خارج المملكة. واستخدام نموذج مستضاف خارجياً نقلٌ عابر للحدود.

هل نحتاج شهادة أيزو 42001؟

ليست إلزامية هنا، لكنها مفيدة عند الحاجة لإثبات الحوكمة أمام عميل أو جهة تنظيمية أو مجلس إدارة. وكثيرون يتبنّون الهيكل دون شهادة ويحققون معظم الفائدة.

هل يؤثر نظام الاتحاد الأوروبي على شركة سعودية؟

قد يفعل، إذ يمتد إلى من تُستخدم مخرجات أنظمتهم داخل الاتحاد. فإن كنتم تخدمون عملاء أوروبيين، صنّفوا نظامكم قبل افتراض الخروج من النطاق.

ما هو حقن الأوامر وهل يمكن إصلاحه؟

تعليمات مخبّأة في محتوى يقرأه النموذج فينفّذها. وغير المباشر — الواصل عبر المحتوى المسترجَع — هو الأصعب، ولا مرشّح يلغيه بموثوقية. الدفاع معماري: مخرجات غير موثوقة، وأدوات محدودة النطاق، وموافقة بشرية على غير القابل للتراجع.

من يتولى مسؤولية مخاطر الذكاء الاصطناعي؟

مالك أعمال محدّد لكل نظام، بدعم من الأمن وحماية البيانات والشؤون القانونية، لأن المخاطر تمتد من الشراء إلى القرار التجاري نفسه.