لورا آي. هاردر: كيفية إعداد مجالس الإدارة لمخاطر الأمن السيبراني للذكاء الاصطناعي الوكيل

يَعِد الذكاء الاصطناعي الوكيل (وكيل الذكاء الاصطناعي) بتحويل طريقة عمل المنظمات. على عكس أدوات الذكاء الاصطناعي السابقة المصممة لتلخيص المستندات أو إنشاء المحتوى، يمكن لهذه الأنظمة أن تعمل بشكل مستقل وتنفذ المهام وتتفاعل مع أنظمة المؤسسات. بالنسبة لمجالس الإدارة التي تشرف على مخاطر التكنولوجيا، يقدم هذا التحول فئة مختلفة جوهريًا من المخاوف الأمنية. تعتقد لورا آي. هاردر، نائبة رئيس الجمعية الدولية لأمن نظم المعلومات (ISSA) وضابطة الأمن السيبراني الهجومي في احتياطي القوات الجوية الأمريكية، أن العديد من القادة يستخفون بسرعة تحقق تلك المخاطر. "تعود المخاطر التي تواجه المنظمات حقًا إلى امتلاك الكثير من الصلاحيات"، تقول هاردر. "يمكن للوكلاء تغيير الأذونات وتغيير الوظائف وإنشاء إجراءات ربما لم تكن تتوقعها." مع انتقال المنظمات من التجريب مع الذكاء الاصطناعي إلى تشغيل الوكلاء المستقلين، يجب على مجالس الإدارة التحرك بنفس السرعة لإنشاء هياكل الحوكمة والحواجز الوقائية وآليات الإشراف القادرة على إدارة الأنظمة التي يمكنها اتخاذ القرارات واتخاذ الإجراءات دون تدخل بشري.

وكيل الذكاء الاصطناعي يغير معادلة الأمان

على مدى السنوات القليلة الماضية، تركزت معظم عمليات نشر الذكاء الاصطناعي في الشركات على الأدوات التي تحلل المعلومات أو تولد المخرجات. قدمت هذه القدرات مخاوف تتعلق بالخصوصية وسلامة البيانات، لكن الأنظمة نفسها نادرًا ما نفذت إجراءات داخل بيئات المؤسسات. يغير وكيل الذكاء الاصطناعي هذه الديناميكية. بدلاً من تقديم التوصيات أو تصفية السير الذاتية فقط، يمكن للوكلاء تشغيل سير العمل والوصول إلى قواعد البيانات والتفاعل مع أنظمة البرامج عبر المنظمة. "الآن لم يعد الأمر مجرد تقديم النصائح لنا. إنه يتخذ إجراءً ويتصرف من تلقاء نفسه"، تقول هاردر.

تخلق هذه الاستقلالية تحديات أمنية جديدة لأنه يمكن التلاعب بالأنظمة. تمامًا كما يمكن للبشر الوقوع في الهندسة الاجتماعية، يمكن خداع وكلاء الذكاء الاصطناعي لتنفيذ مهام غير مقصودة من خلال تقنيات مثل حقن الأوامر. تشير هاردر إلى أمثلة من العالم الحقيقي حيث تغير التعليمات المخفية المضمنة في المدخلات طريقة تصرف الذكاء الاصطناعي. "سيتصرف الذكاء الاصطناعي بناءً على التعليمات التي يتلقاها"، تقول. تتفاقم هذه التهديدات بسبب الطبيعة الغامضة للعديد من نماذج الذكاء الاصطناعي. غالبًا ما تعتمد المنظمات على أدوات الطرف الثالث دون رؤية كاملة لكيفية اتخاذ القرارات. النتيجة هي نظام قادر على تنفيذ الإجراءات أثناء العمل بطرق يصعب التنبؤ بها.

المخاطر المخفية التي تتجاهلها مجالس الإدارة غالبًا

عندما تبدأ مجالس الإدارة في تقييم وكيل الذكاء الاصطناعي، تقول هاردر إن الثغرة الأكثر استخفافًا هي الأذونات. يعمل كل وكيل ذكاء اصطناعي ضمن شبكة من الأنظمة ومصادر البيانات والتطبيقات. يحدد مستوى الوصول الممنوح لتلك الأنظمة الضرر المحتمل في حالة حدوث خطأ ما. تصف هاردر هذا على أنه "نطاق الانفجار" للنظام. قد يتمكن الوكيل الذي يُمنح أذونات واسعة من التفاعل مع بيانات وبنية تحتية أكثر بكثير مما يدركه القادة.

يحدث مثال شائع عندما تتصل أنظمة الذكاء الاصطناعي بأدوات التعاون الداخلية أو مستودعات المستندات. إذا كان المجلد المشترك على نطاق واسع يحتوي على معلومات حساسة، فسيتمكن الوكيل الذي يعمل في تلك البيئة من الوصول إلى تلك البيانات واستخدامها ضمن الأذونات الممنوحة للمستخدم أو حساب الخدمة أو التكامل الذي يعمل تحته. من الناحية العملية، هذا يعني أن الوكيل يمكنه الكشف عن المعلومات أو التصرف بناءً عليها التي ربما كانت متاحة على نطاق واسع ولكن لم تكن مراقبة بنشاط.

تقدم خدمات الذكاء الاصطناعي التابعة لجهات خارجية طبقة إضافية من المخاطر. "إذا كنت تستخدم نموذجًا، فما هي المعلومات التي يمكن لهذا النموذج الوصول إليها، وهل يمكن استخدام معلوماتك لتدريب هذا النموذج؟" تسأل هاردر. دون ضوابط واضحة، قد تغادر المعلومات الاحتكارية أو الملكية الفكرية أو بيانات العملاء الحساسة المنظمة عن غير قصد من خلال تفاعلات الذكاء الاصطناعي.

بناء الحوكمة التي يمكنها مواكبة الذكاء الاصطناعي

يجب التعامل مع حوكمة الذكاء الاصطناعي كبرنامج منظم وليس كإضافة تكنولوجية. يجب أن تبدأ المنظمات بإنشاء مجلس حوكمة مخصص للذكاء الاصطناعي، يتم نمذجته غالبًا بعد لجان حوكمة الخصوصية أو المخاطر الحالية. يجب على تلك المجموعة اعتماد أطر عمل راسخة مثل إطار عمل إدارة مخاطر الذكاء الاصطناعي من NIST أو المعايير الدولية مثل ISO 42001. "وجود حوكمة الذكاء الاصطناعي وحماية الذكاء الاصطناعي ليس مجرد منتج يمكنك شراؤه"، تقول.

توفر هذه الأطر إرشادات حول السياسات وتقييم المخاطر والضوابط التشغيلية. لكنها لا تزال تتطلب من المنظمات تحديد كيفية عمل الذكاء الاصطناعي داخل بيئتها وما هي البيانات التي سيُسمح لها بالوصول إليها. "أنت بحاجة إلى سياسات وإجراءات وجرد"، تقول هاردر. "ستساعد تلك القطع في بناء البنية التحتية التي يمكن لفرقك العمل منها." أحد الممارسات الناشئة هو إنشاء "فاتورة مواد الذكاء الاصطناعي" التي تجرد كل أداة ذكاء اصطناعي مستخدمة داخل المنظمة، والأنظمة التي تتصل بها والبيانات التي يمكنها الوصول إليها. بدون تلك الرؤية، لا يمكن للمنظمات فهم التعرض الكامل الناتج عن الأنظمة المستقلة التي تتفاعل مع البنية التحتية للمؤسسة.

الحواجز الوقائية التي تمنع الذكاء الاصطناعي من التمرد

حتى مع وجود هياكل الحوكمة، تتطلب أنظمة الوكلاء ضمانات فنية تحد من طريقة عملها. الاستراتيجية الأكثر فعالية هي تصميم ضوابط الأمان من البداية. يجب تطوير الأنظمة في البداية داخل بيئات اختبار مغلقة ومتحكم فيها باستخدام بيانات الاختبار (وليس بيانات الإنتاج) وامتيازات محدودة. "أثناء بناء نظام الوكيل الخاص بك، يجب عليك القيام بذلك في شبكة الاختبار"، تقول. "إنها بيئة متحكم فيها حيث يمكن للأنظمة الاصطناعية العمل بمخاطر منخفضة وبدون امتيازات."

يجب أن يتضمن الاختبار أيضًا فرق الاختبار الأحمر، حيث يحاول محترفو الأمان كسر النظام أو التلاعب بسلوكه. تكشف هذه التمارين عن الثغرات قبل نشر الأنظمة في بيئات الإنتاج. "وجود إنسان في الحلقة يضمن أنه إذا قرر أداة الذكاء الاصطناعي الخاصة بك اتخاذ قرار ربما لم تكن تريده، فهناك نوع من القيود"، تقول هاردر. يمكن لتقنيات العزل أيضًا الحد من المخاطر. في بعض البنى، يتم احتواء الوكلاء داخل الأجهزة الافتراضية حيث تقيد السياسات الأوامر التي يمكنهم تنفيذها والأنظمة التي يمكنهم الوصول إليها.

إشراف مجلس الإدارة مهم في النهاية

بالنسبة لمجالس الإدارة، يعد صعود وكيل الذكاء الاصطناعي تحديًا للحوكمة والمساءلة، وتؤكد هاردر أن المنظمات تظل مسؤولة عن الإجراءات التي تتخذها أنظمة الذكاء الاصطناعي الخاصة بها. "لا يمكنك العودة والقول، 'لم أكن أعلم أنه يمكن أن يفعل ذلك'"، تقول. "عليك أن تبذل العناية الواجبة." تحمل تلك المسؤولية آثارًا قانونية وائتمانية. يجب على مجالس الإدارة التأكد من تطبيق التقنيات المستقلة بإشراف واضح وسلطة مقيدة ومراقبة مستمرة. "لا تربط الوكلاء بأدوات مميزة حتى تتمكن من إثبات أن لديها سلطة مقيدة ونقاط تفتيش بشرية ومراقبة"، تقول هاردر. مع استمرار انتقال وكيل الذكاء الاصطناعي من التجريب إلى العمليات الأساسية، ستكون المنظمات التي تنجح هي تلك التي تعامل الحوكمة والأمان كمتطلبات أساسية وليس كأفكار لاحقة.

تابع لورا آي. هاردر على LinkedIn لمزيد من الرؤى.