«Кто платит, когда ИИ ошибается?» - интрига, позвавшая меня сегодня в Кибердом. На это эссе я вдохновился на последней сессии форума, когда при оркестрации Алексея Лукацкого 6 грандов в области ИБ - CISO больших, коммерческих и успешных компаний сначала всех и себя пугали ИИ, а потом признавались ему в любви.
Пролог: Электромобиль и розетка
Представьте: компания пересела на электромобили — быстрее, дешевле, современнее. Но служба эксплуатации офиса отказывается устанавливать зарядные станции на парковке, потому что «в регламенте прописано только парковка авто, а про зарядные станции — ни слова». Автомобили стоят разряженными. Водители заряжают их дома, протягивая удлинители из окон.
Формально установка зарядных станций на парковке в офисе — нарушение. Реально — именно запрет создал ту самую проблему, от которой служба эксплуатации пыталась защитить.
Именно в такой ситуации сегодня находятся десятки российских компаний, включая, возможно, вашу. Департамент разработки уже использует ИИ-ассистентов для создания корпоративной ERP, менеджеры автоматизируют задачи, продуктовые команды встраивают языковые модели в клиентские процессы. ИИ-трансформация уже началась — не по решению Совета директоров, а снизу вверх, потому что это реально ускоряет работу.
А что делает традиционный департамент информационной безопасности? Он применяет к новому миру старый инструментарий: антивирус, MFA, периметровую защиту, запрет на внешние сервисы, согласования по шаблонам десятилетней давности. В результате — не злоумышленники, а собственная служба безопасности становится главным тормозом цифрового развития компании. Старый инструментарий – хорош, нужен и важен. Только мир поменялся, изменилась модель угроз. И старый инструментарий будучи необходимым, перестал быть достаточным.
Это не вина людей. Это системный разрыв, который требует управленческого понимания и решения на уровне руководства компании.
Часть 1. Новый ландшафт угроз — который ИБ ещё не видит
Чтобы понять масштаб проблемы, нужно сначала разобраться: а что, собственно, изменилось в мире кибербезопасности с приходом ИИ? Ответ неудобный: изменилось почти всё.
Скорость атаки. Раньше подготовка к целевой атаке на крупную компанию занимала недели кропотливой ручной разведки. Злоумышленник собирал информацию об инфраструктуре, искал забытые аккаунты разработчиков на GitHub, API-ключи, упомянутые в докладах названия серверов, голосовые образцы руководителей с конференций. Сегодня это делает ИИ-агент (автономная программа, выполняющая цепочку задач без участия человека) — за несколько часов. На выходе — детальное досье на вашу организацию, включая структуру сети, ключевых сотрудников и потенциальные точки входа.
Цена атаки. Злоумышленники теперь используют локальные языковые модели для генерации фишинговых писем — персонализированных, грамотных, неотличимых от корпоративной коммуникации. И это буквально бесплатно: скачал модель, запустил на ноутбуке, сгенерил тысячу писем.
Новая поверхность атаки — сам ИИ. И вот здесь — ключевой момент, который старая ИБ-парадигма вообще не учитывает. Когда ваш департамент разработки пишет ERP с помощью ИИ-ассистентов, он неосознанно создаёт новые уязвимости:
· ИИ-ассистент может «галлюцинировать» несуществующие библиотеки с реальными названиями — и хакеры создают именно эти пакеты, начинённые вредоносным кодом. Разработчик устанавливает их, думая, что обновляется. Это называется Dependency Confusion by LLM — атака нового поколения, которой ещё нет в регламентах большинства ИБ-служб.
· Если разработчики используют внешние ИИ-ассистенты без контроля, фрагменты архитектуры вашей будущей ERP — схемы баз данных, API-интерфейсы, бизнес-логика — могут оседать в обучающих данных внешних сервисов. В итоге у нас имеется утечка архитектуры в обучающие данные.
· Открытые ИИ-агенты внутри инфраструктуры, запущенные с избыточными правами доступа — буквально «кормушка для хакера»: злоумышленнику не нужно взламывать систему, достаточно грамотно «поговорить» с вашим же ИИ-ассистентом, чтобы тот сам выдал нужные данные или выполнил нужное действие.
· Злоумышленник внедряет скрытые инструкции прямо в контент, который читает ваш ИИ-ассистент: в описание товара, метаданные файла, текст письма. ИИ интерпретирует их как команды и выполняет — незаметно для пользователя. Например, ассистент GitLab Duo получил именно такую уязвимость: через вредоносный код в репозитории он передавал конфиденциальные данные проекта наружу. Для вашей ERP это означает: злоумышленнику не нужно ломать систему — достаточно прислать менеджеру документ с нужными инструкциями внутри. Это называется Prompt Injection — «разговор с вашим ИИ чужими устами»
· Некоторые ИИ-инструменты для написания кода и конфигурационных файлов первые месяцы работают безупречно, к ним складывается доверие — и при этом они постепенно и незаметно накапливают небольшие ошибки. Если пропустить момент критического накопления ошибок, агент может начать вносить уязвимости в конфигурации — не по злому умыслу, а в силу архитектурного дрейфа. Исследования показывают, что большинство ИИ-агентов в корпоративных средах работают с избыточными правами и плохо задокументированы — компрометация такого агента даёт доступ сразу к огромному массиву данных и действий.
Классическая ИБ-служба, обученная охранять периметр от внешних угроз, просто не видит эти векторы. Она смотрит в другую сторону.
Часть 2. Асимметрия, которую нельзя игнорировать
Один из самых острых выводов современных исследований кибербезопасности: атакующие и защищающиеся используют ИИ в принципиально неравных условиях.
Хакер не связан никакими корпоративными регламентами. Он может использовать самые мощные frontier-модели (Claude, GPT-4o, Grok), платя только за вычислительные токены. Может строить полностью автономные системы атаки — оркестраторы, которые самостоятельно проходят весь цикл: разведка → поиск уязвимостей → написание кода для взлома → атака → анализ реакции защиты → новая попытка. Технически это реализуемо уже сегодня — без фантастики, без суперкомпьютеров.
Что противопоставляет защищающаяся сторона? В большинстве российских компаний — ту же ручную работу, те же регламенты, тех же перегруженных аналитиков, которые вручную разбирают тысячи алертов в день. При этом компании-защитники, как правило, ограничены собственными вычислительными контурами и вынуждены работать на моделях послабее. Атакующие действуют с лучшими инструментами, без ограничений и без бюрократии согласований.
Это не повод для паники. Это повод для трезвой оценки: с текущим подходом к ИБ разрыв будет только расти. Единственный способ его сократить — внедрить ИИ в саму систему защиты. Причём сделать это быстрее, чем это сделают ваши конкуренты и те, кто на вас охотится.
Часть 3. Что происходит, когда ИБ тормозит ИИ-проекты
Вернёмся к вашей компании. Разработчики строят ERP, используют ИИ-инструменты — и каждый такой проект упирается в стену согласований. ИБ говорит «нет» или «подождите» — и это кажется ответственным поведением.
Но давайте посмотрим, что происходит на самом деле.
Разработчики всё равно используют ИИ — только неофициально. Без корпоративных ограничений, без логирования, без политик. Это называется Shadow AI (теневой ИИ) — и он несёт несравнимо больший риск, чем контролируемое корпоративное использование.
ИБ теряет видимость реальных угроз. Вместо того чтобы понять новые риски и выработать правила для них, служба безопасности тратит энергию на борьбу с командой разработки — и проигрывает эту борьбу в любом случае, потому что прогресс не запретить.
Компания теряет деньги и время. Каждая неделя задержки в разработке ERP — это прямые финансовые потери. Если умножить их на количество заблокированных ИИ-проектов, сумма многократно превышает текущий бюджет на кибербезопасность.
Парадокс: попытка снизить риски через запреты создаёт новые — и более серьёзные — риски. Это классическое противоречие, которое нельзя решить запретами. Его можно решить только системно.
Часть 4. Что умеет ИИ в роли защитника
Чтобы разговор был честным, важно показать не только угрозы, но и то, ради чего стоит преодолевать управленческое сопротивление. ИИ в роли защитника даёт реальные, измеримые преимущества.
1. Автоматизация мониторинга (SOC Automation). Аналитик центра безопасности сегодня получает тысячи автоматических предупреждений в день. Большинство — ложные тревоги. Разобрать их вручную физически невозможно. ИИ-агент за минуты собирает весь контекст инцидента, строит цепочку событий, объясняет что происходит и что нужно сделать. Аналитику остаётся принять финальное решение. Итог: в 3-5 раз быстрее реакция на реальные угрозы (MTTR — Mean Time To Respond).
2. Инвентаризация того, что вы защищаете. Одна из острейших проблем современной ИБ: большинство служб безопасности не знают, где именно в компании хранятся критические данные. ИИ способен автоматически проанализировать схемы баз данных, классифицировать данные по типу (персональные, коммерческая тайна, финансовые) и показать, где они должны быть, а где их быть не должно. Это сокращает «поверхность атаки» — количество мест, куда может добраться злоумышленник.
3. Проверка безопасности ИИ-кода в реальном времени. В контексте вашей ERP это особенно актуально: специализированные инструменты (AI-powered SAST/DAST) анализируют код, написанный с помощью ИИ-ассистентов, ещё на этапе разработки — до того, как уязвимость попадёт в продуктив. ИБ перестаёт быть «контролёром на выходе» и становится встроенным в процесс щитом.
4. Обнаружение угроз, которых ещё не существует — Zero-day Detection Традиционные системы безопасности работают как список запрещённых лиц на охране: они знают «лица» уже известных атак и блокируют их по сигнатурам (цифровым отпечаткам). Но что делать с угрозой, которую никто раньше не видел? ИИ анализирует не «лица», а поведение: любое отклонение от нормального паттерна работы системы фиксируется как аномалия — даже если подобная атака случается впервые в мире. Именно так работают современные российские решения, в частности модуль BAD в MaxPatrol SIEM: он выявляет атаки, которые не покрыты ни одним существующим правилом корреляции. Для ERP-системы, которую вы создаёте с нуля, это критично: у новой системы ещё нет «истории болезней» — значит, классические сигнатурные методы будут слепы к большинству угроз на старте.
5. Сокращение времени реагирования в 24 раза — с цифрами. Это не метафора и не маркетинг — это измеримый результат. По данным исследования НИУ ВШЭ, внедрение ИИ-инструментов в процессы безопасности сокращает среднее время реагирования на инцидент с 2,3 дней до 58 минут. Разница принципиальная: за 2,3 дня злоумышленник успевает пройти весь цикл атаки — от первого проникновения до шифрования данных и требования выкупа. За 58 минут — он обнаружен и заблокирован на начальном этапе. Переведите это в деньги: средний простой инфраструктуры крупной компании после успешной атаки — от нескольких дней до нескольких недель. Разница в 24 раза в скорости реагирования — это разница между инцидентом и катастрофой.
Подробнее в экспертной статье Искусственный интеллект в киберзащите
Заключение: что делать CEO прямо сейчас
Описанный конфликт — не технический. Он управленческий. И его нужно решать управленческими инструментами. Предлагаю двухтактную стратегию.
Шаг первый (немедленно): AI Gateway — разблокировать разработку
Если хаос использования облачных ИИ в бизнесе нельзя устранить - его надо возглавить! Создать для бизнеса удобный, быстрый и прозрачный сервис. Самое быстрое и практичное решение — развернуть корпоративный шлюз для ИИ (AI Gateway). Например програмно-аппаратный комплекс ДАМАСК (DAMASK) для потоковой обфускации (обезличивания) данных, в том числе обучающих, и даже модели. Технически это прокси-сервер, через который проходит весь трафик между сотрудниками и внешними ИИ-моделями. Он решает главный страх ИБ: конфиденциальные данные (персональные данные клиентов, коммерческая тайна, архитектурные схемы ERP) автоматически очищаются из промптов перед отправкой во внешний сервис. Все действия логируются — у ИБ появляется полная аудиторская картина.
- Эффект для разработчиков: они получают доступ к нужным инструментам немедленно, легально, без обходных схем.
- Эффект для ИБ: они получают контроль и видимость вместо слепого пятна.
- Эффект для CEO: конфликт деэскалируется, проекты разблокируются, появляется время на системное решение.
Срок внедрения — от двух до шести недель.
Только важно понимать, что обфускация через AI Gateway закрывает только один из ключевых рисков - утечку данных через промпты во внешние сервисы. Для всесторонней защиты ИИ-системы от prompt injection, галлюцинаций, предвзятости модели, а также для модерации ответов потребуется полноценный системный слой AI Guardrails. Откуда он возьмется?
Шаг второй (параллельно): AI Governance Committee — создать правила игры
Одновременно необходимо создать кросс-функциональный комитет по управлению ИИ с представителями ИТ, ИБ, разработки, юридического блока и ключевых бизнес-заказчиков. Задача комитета — в течение 60–90 дней разработать корпоративную политику использования ИИ: что разрешено, что запрещено, какие данные можно передавать в модели, какой код требует ИБ-аудита.
Принципиальное условие: ИБ обязана предлагать решения, а не только фиксировать риски. Если департамент выдаёт отказ по проекту — он обязан в течение 5 рабочих дней предложить альтернативу, которая позволяет проект реализовать. Запрет без альтернативы перестаёт быть допустимым форматом работы.
Для самого департамента ИБ это означает трансформацию: от роли «охраны периметра» — к роли доверенного партнёра по управлению ИИ-рисками. Это потребует обучения команды новым инструментам и новым типам угроз. Это инвестиция — но она окупается тем, что безопасность перестаёт быть тормозом и становится конкурентным преимуществом.
Что сделать прямо сейчас?
Ждать ближайшего инцидента, или уже сегодня начать разговор с командой ИИ и ИБ.
Задайте своей команде три вопроса на ближайшем совещании:
- Где сейчас в нашей компании используется ИИ неофициально — и какие данные при этом уходят во внешние системы?
- Чем конкретно ИБ может заменить свои запреты — какие инструменты контроля дадут ту же защиту, не блокируя разработку?
- Что нам нужно сделать за 100 дней, чтобы ИИ-трансформация стала управляемой, а не стихийной?
Компания, которая первой в своём секторе научится работать с ИИ безопасно — получит преимущество не только в скорости, но и в доверии: клиентов, партнёров, регуляторов.
В войне алгоритмов побеждает не тот, у кого более сложный ИИ. Побеждает тот, кто сумел выстроить систему, в которой скорость инноваций и безопасность работают в одном направлении, а не друг против друга.
1. Кибердом форум «ИИ: режим доверия»: сессия «киберугрозы в эпоху ИИ: новый ландшафт безопасности»
Комментарии (0)