Генеральный директор Сбертеха Максим Тятюшев в интервью ТАСС в рамках международной конференции по искусственному интеллекту и машинному обучению AI Journey рассказал о рисках использования ИИ-агентов в бизнесе, безопасности языковых моделей и создании первого на российском рынке решения для защиты ИИ-агентов от атак.
— На Международной конференции по искусственному интеллекту и машинному обучению AI Journey много говорили о том, что искусственный интеллект становится неотъемлемой частью ведения бизнеса, повышая эффективность процессов и открывая новые возможности для роста. Но какие риски несет использование сторонних ИИ-агентов в корпоративном контуре компаний?
— Использование сторонних ИИ-помощников в компаниях может быть небезопасным. Например, если сотрудник отправит важную информацию, такую как личные данные клиентов, конфиденциальные данные бизнеса, этим помощникам, это может привести к утечке данных. Так недавно произошло с компанией Samsung, когда сотрудники раскрыли важную информацию через такие сервисы.
Еще одна проблема — это когда сотрудники используют непроверенные ИИ-помощники без разрешения компании. Это может привести к проблемам с безопасностью. ИИ-помощники могут быть уязвимы к атакам. Например, кто-то может попытаться управлять их работой, или они могут случайно добавить вредный код в документы. Также есть риск, что данные, которые вы отправляете ИИ, могут быть использованы без вашего ведома.
Некоторые бесплатные ИИ-сервисы используют данные пользователей для обучения, не всегда защищая их конфиденциальность. Такие сервисы редко предлагают гарантии защиты данных. Кроме того, использование ИИ может быть сложным и дорогим. Компании должны постоянно следить за тем, как сотрудники работают с ИИ, и проводить обучение. Поэтому важно использовать специальные инструменты для защиты данных и обучения сотрудников, а также разработать четкие правила безопасного использования ИИ в компании.
В Сбере также разработали модель угроз для кибербезопасности ИИ, которая охватывает все ключевые этапы жизненного цикла ИИ-систем — от подготовки данных для обучения до интеграции в приложение. Документ находится в открытом доступе на портале "Кибрарий" и описывает 70 угроз для моделей генеративного (GenAI) и предиктивного (PredAI) искусственного интеллекта. Такое исследование особенно актуально в свете растущего использования ИИ в критически важных бизнес-процессах и возникающих в связи с этим киберугроз.
— Эффективны ли в борьбе с такими угрозами существующие подходы к кибербезопасности?
— Традиционные подходы, такие как контроль доступа, защита данных, защита API и мониторинг событий, эффективны против некоторых угроз, но их необходимо адаптировать и донастраивать под новые технологии. Для комплексной защиты требуется сочетание традиционных методов с новыми инструментами и практиками, такими как проверка безопасности ИИ через имитацию атак, контроль обучения датасетов, использование машинного обучения для выявления аномалий, контентная фильтрация запросов в реальном времени и внедрение ИИ-валидаторов.
— Сформирован ли на сегодняшний день в России рынок специализированных решений по безопасности ИИ?
— Это еще только формирующийся сегмент рынка, который станет одним из ключевых для развития IТ-отрасли. С ростом применения ИИ в бизнесе и госсекторе защита от специфичных угроз, таких как манипуляции с ИИ-моделями, становится необходимостью. Решения для безопасного использования ИИ развиваются по разным направлениям: от разработки новых инструментов "с нуля" до адаптации существующих решений для устранения угроз, связанных с ИИ, включая децентрализованные подходы, шлюзы и фаервол для ИИ.
— Есть ли у российских вендоров решения для безопасного взаимодействия с внешними и внутренними генеративными ИИ-системами?
— До недавнего времени на российском рынке кибербезопасности их не было. Мы разработали решение для безопасной работы с ИИ. Оно обладает функциями валидации, фильтрации и мониторинга ИИ-трафика и предназначено для контролируемого и защищенного взаимодействия с большими языковыми моделями (LLM). Решение создано на базе API-шлюза безопасности Platform V SOWA, который уже успешно зарекомендовал себя в масштабах Сбера и других корпораций.
Наша разработка минимизирует риски утечек конфиденциальных данных, предотвращает промпт-инъекции и взломы ИИ-моделей, позволяет упорядочить хаотичную архитектуру ИИ-интеграций. Все это особенно актуально, если компания ставит перед собой задачу по созданию собственных безопасных ИИ-агентов. Продукт позволяет снизить затраты на разработку и эксплуатацию, обеспечивает соответствие регуляторным требованиям, а также ускоряет вывод ИИ-продуктов на рынок без рисков для безопасности.
Решение сочетает шлюз безопасности, межсетевой экран для ИИ и валидаторы в одном российском продукте, обеспечивая полностью управляемое и защищенное взаимодействие с генеративным ИИ.
— Это решение уже доступно рынку?
— Мы и наши клиенты уже пилотируем это решение и можем предоставить его по запросу для тестирования. В начале следующего года мы планируем выпустить официальный релиз.
— Мы поговорили про защиту ИИ, а как Сбертех использует потенциал самого искусственного интеллекта?
— Несомненно, искусственный интеллект существенно меняет подход к созданию новых технологий. Он автоматизирует рутинные задачи, ускоряет работу, а также в хорошем смысле упрощает программирование. В Сбертехе активно развивают четыре ключевых направления использования ИИ: создание инструментов, которые упрощают и ускоряют внедрение искусственного интеллекта в IТ-инфраструктуру, применение ИИ для оптимизации внутренних процессов, интеграция ИИ в продукты для повышения эффективности бизнеса клиентов и научные исследования и разработки в области ИИ.
— Как вы принимаете решение о том, какие процессы и продукты должны поддерживать ИИ в первую очередь, и какую глобальную цель преследуете, развивая искусственный интеллект в компании?
— Внедрение ИИ в Сбертехе связано с практическими примерами и конкретными задачами разных специалистов. Начиная работу в этом направлении, мы проанализировали бизнес-процессы, производственный цикл и трудозатраты, чтобы понять, как делегировать искусственному интеллекту основную часть рутинных задач, а сотрудникам предоставить больше возможностей для решения интересных и стратегически важных задач. Глобальная цель, которую мы поставили перед собой, — создание высокоэффективных автономных ИИ-ассистентов для высвобождения ресурса каждой роли в команде разработки.
Когда мы проанализировали процессы, выяснилось, что больше всего рабочего времени у нас занимал этап разработки и сборки — 42%. Прогнозируемое потенциальное повышение эффективности специалистов по ключевым ролям благодаря интеграции ИИ-ассистентов составило: 78% у аналитиков, 62% у разработчиков, 49% у тестировщиков и 30% у документаторов.
— Можете привести реальные примеры, как ИИ повышает эффективность специалистов?
— Мы внедрили ИИ для повышения эффективности и безопасности разработки. ИИ автоматизирует рутинные задачи: создание кода и его дополнение в реальном времени, написание документации, анализ данных и устранение ошибок. Для начинающих разработчиков это экономит 37,3% времени, для опытных — почти вдвое меньше.
Мы интегрировали ИИ-ассистента в собственный инструмент для проведения анализа, который помогает проверить код, найти в нем угрозы, программные закладки, библиотеки с уязвимостями и предложить механизмы их исправления. Раньше подобная операция могла занять пять дней, теперь — несколько часов. Качество классификации ошибок улучшилось на 70%, предложений по исправлению — на 54%.
ИИ помогает системным и бизнес-аналитикам быстрее создавать описания функций, проверять задания и составлять планы тестирования, экономя 25–50% времени. Он также упрощает оформление и перевод документации, находя и дополняя нужные данные, что экономит время компаниям.
— Каким вы видите будущее разработки в контексте развития ИИ?
— Искусственный интеллект радикально меняет разработку ПО, ускоряя ее, делая доступнее и ориентированной на бизнес. В будущем ИИ станет не просто инструментом, а партнером, способным выполнять сложные задачи.
На мой взгляд, будущее разработки за мультиагентными системами, где ИИ-агенты взаимодействуют друг с другом и с людьми, решая все более сложные задачи. Например, один агент может анализировать требования, другой — писать код, а третий — проверять его на ошибки. Такие системы будут создавать целостные решения, адаптированные под бизнес-задачи. ИИ также изменит пользовательские интерфейсы: в дополнение к командной строке и средам разработки появятся адаптивные, генеративные интерфейсы, которые упростят взаимодействие с технологиями.
Разработка становится более интуитивной, а ИИ позволяет бизнесу быстрее внедрять инновации, будь то новые приложения, аналитика данных или промышленные решения. Сейчас компаниям очень важно осознать значимость ИИ и адаптироваться к новой реальности, чтобы обеспечить конкурентное преимущество.
