Агентный искусственный интеллект (ИИ) обещает трансформировать то, как работают организации. В отличие от более ранних инструментов ИИ, предназначенных для резюмирования документов или генерации контента, эти системы могут действовать автономно, выполнять задачи и взаимодействовать с корпоративными системами. Для советов директоров, контролирующих технологические риски, этот переход вводит принципиально иную категорию проблем безопасности. Лора И. Хардер, вице-президент Международной ассоциации безопасности информационных систем (ISSA) и офицер наступательной кибербезопасности в резерве ВВС США, считает, что многие руководители недооценивают, насколько быстро эти риски могут материализоваться. "Риск для организаций на самом деле сводится к наличию слишком большой агентности", - говорит Хардер. "Агенты могут изменять разрешения, изменять функциональность и создавать действия, которых вы, возможно, не ожидали". Поскольку организации переходят от экспериментов с ИИ к операционализации автономных агентов, советы директоров должны двигаться столь же быстро, чтобы установить структуры управления, ограничители и механизмы надзора, способные управлять системами, которые могут принимать решения и предпринимать действия без вмешательства человека.
Агентный ИИ меняет уравнение безопасности
В течение последних нескольких лет большинство корпоративных развертываний ИИ были сосредоточены на инструментах, которые анализируют информацию или генерируют выходные данные. Эти возможности вызвали опасения по поводу конфиденциальности и целостности данных, но сами системы редко выполняли действия внутри корпоративных сред. Агентный ИИ меняет эту динамику. Вместо того чтобы просто предлагать рекомендации или фильтровать резюме, агенты могут запускать рабочие процессы, получать доступ к базам данных и взаимодействовать с программными системами в организации. "Теперь это не просто дает нам советы. Он предпринимает действия и действует самостоятельно", - говорит Хардер.
Эта автономность создает новые проблемы безопасности, потому что системами можно манипулировать. Так же, как люди могут попасться на социальную инженерию, ИИ-агенты могут быть обмануты для выполнения непредусмотренных задач с помощью таких методов, как инъекция запросов. Хардер указывает на реальные примеры, когда скрытые инструкции, встроенные во входные данные, изменяют поведение ИИ. "ИИ будет вести себя на основе инструкций, которые ему даны", - говорит она. Эти угрозы усугубляются непрозрачным характером многих моделей ИИ. Организации часто полагаются на сторонние инструменты без полной видимости того, как принимаются решения. Результатом является система, способная выполнять действия, работая способами, которые трудно предсказать.
Скрытый риск, который советы директоров часто упускают из виду
Когда советы директоров начинают оценивать агентный ИИ, Хардер говорит, что наиболее недооцененной уязвимостью являются разрешения. Каждый ИИ-агент работает в сети систем, источников данных и приложений. Уровень доступа, предоставленного этим системам, определяет потенциальный ущерб в случае неполадок. Хардер описывает это как "радиус поражения" системы. Агенту, которому предоставлены широкие разрешения, может быть доступно гораздо больше данных и инфраструктуры, чем осознают руководители.
Распространенный пример возникает, когда системы ИИ подключены к внутренним инструментам совместной работы или хранилищам документов. Если широко распространенная папка содержит конфиденциальную информацию, агент, работающий в этой среде, сможет получить доступ и использовать эти данные в рамках разрешений, предоставленных пользователю, служебной учетной записи или интеграции, под которой он работает. На практике это означает, что агент может обнаружить или действовать на основе информации, которая могла быть широко доступной, но не активно контролировалась.
Сторонние сервисы ИИ вводят дополнительный уровень риска. "Если вы используете модель, к какой информации эта модель имеет доступ, и может ли ваша информация использоваться для обучения этой модели?" - спрашивает Хардер. Без четких элементов контроля проприетарная информация, интеллектуальная собственность или конфиденциальные данные клиентов могут непреднамеренно покинуть организацию через взаимодействия с ИИ.
Построение управления, которое может идти в ногу с ИИ
Управление ИИ должно рассматриваться как структурированная программа, а не как технологическое дополнение. Организации должны начать с создания специализированного совета по управлению ИИ, часто созданного по образцу существующих комитетов по управлению конфиденциальностью или рисками. Эта группа должна принять установленные структуры, такие как NIST AI Risk Management Framework или международные стандарты, такие как ISO 42001. "Наличие управления ИИ и защиты ИИ - это не просто продукт, который вы можете купить", - говорит она.
Эти структуры обеспечивают руководство по политикам, оценкам рисков и операционным элементам контроля. Но они по-прежнему требуют от организаций определить, как ИИ будет функционировать в их среде и к каким данным ему будет разрешен доступ. "Вам нужны политики, процедуры и инвентаризации", - говорит Хардер. "Эти элементы помогут построить инфраструктуру, с которой смогут работать ваши команды". Одной из появляющихся практик является создание "спецификации материалов ИИ", которая инвентаризирует каждый инструмент ИИ, используемый внутри организации, к каким системам он подключается и к каким данным он может получить доступ. Без такой видимости организации не могут полностью понять риск, создаваемый автономными системами, взаимодействующими с корпоративной инфраструктурой.
Ограничители, которые предотвращают выход ИИ из-под контроля
Даже при наличии структур управления агентные системы требуют технических мер защиты, которые ограничивают их работу. Наиболее эффективная стратегия - разработать меры контроля безопасности с самого начала. Системы должны первоначально разрабатываться внутри закрытых, контролируемых песочниц с использованием тестовых данных (не производственных данных) и ограниченных привилегий. "Когда вы создаете свою агентную систему, вы должны делать это в песочнице", - говорит она. "Это контролируемая среда, где синтетические системы могут работать с низким риском и без привилегий".
Тестирование также должно включать красную команду, где специалисты по безопасности пытаются взломать систему или манипулировать ее поведением. Эти упражнения выявляют уязвимости до развертывания систем в производственных средах. "Наличие человека в цепочке гарантирует, что если и когда ваш инструмент ИИ решит принять решение, которое вы, возможно, не хотели, существует какое-то ограничение", - говорит Хардер. Методы изоляции также могут ограничить риск. В некоторых архитектурах агенты содержатся внутри виртуальных машин, где политики ограничивают, какие команды они могут выполнять и к каким системам они могут получить доступ.
Надзор совета директоров в конечном итоге имеет значение
Для советов директоров рост агентного ИИ является вызовом управления и подотчетности, и Хардер подчеркивает, что организации остаются ответственными за действия, которые предпринимают их системы ИИ. "Вы не можете вернуться назад и сказать: 'Я не знал, что это может это сделать'", - говорит она. "Вы должны провести должную проверку". Эта ответственность несет как юридические, так и фидуциарные последствия. Советы директоров должны обеспечить, чтобы автономные технологии внедрялись с четким надзором, ограниченными полномочиями и постоянным мониторингом. "Не подключайте агентов к привилегированным инструментам, пока вы не сможете доказать, что у них есть ограниченные полномочия, контрольные точки с участием человека и мониторинг", - говорит Хардер. Поскольку агентный ИИ продолжает переходить от экспериментов к основным операциям, организации, которые преуспеют, будут теми, кто относится к управлению и безопасности как к основополагающим требованиям, а не к второстепенным вопросам.
Следите за Лорой И. Хардер в LinkedIn для получения дополнительной информации.
