Уязвимости в инструментах искусственного интеллекта: примеры Copilot и LiteLLM

Инструменты искусственного интеллекта обещают облегчить жизнь пользователей, но иногда они также несут в себе риски безопасности. В последние дни уязвимости в Copilot от Microsoft и LiteLLM продемонстрировали, насколько эти технологии уязвимы к внешним данным. Уязвимость Copilot, впервые раскрытая компанией Varonis, привела к утечке данных через электронные письма пользователей. Это показывает, что безопасность AI-систем напрямую связана не только с алгоритмами, но и с взаимодействиями пользователей.

Что произошло?

Уязвимость в Copilot привела к утечке данных через URL, на который кликнул пользователь. Процесс, при котором информация передавалась наружу, происходил без каких-либо видимых предупреждений на системе, получая доступ к почтовому ящику пользователя. Уязвимость в LiteLLM еще более тревожна; этот инструмент позволил неавторизованным пользователям получить права администратора и выполнять код удаленно. Эти два случая показывают, что AI-системы не обеспечивают достаточную защиту от внешних входных данных.

Почему это важно?

AI-системы играют критическую роль в повышении эффективности бизнеса сегодня. Однако нарушение границ безопасности при обработке таких данных может привести к крупным утечкам данных и финансовым потерям. Особенно инструмент, такой как Copilot, может привести к значительным утечкам данных, поскольку пользователи имеют доступ ко всем полномочиям организации.

Хотя в прошлом происходили подобные инциденты, эти два примера подчеркивают необходимость пересмотра стандартов пользователей в области искусственного интеллекта и безопасности. Например, в течение года в Copilot произошло три отдельных случая утечки данных; это указывает на уязвимость, которую необходимо постоянно улучшать.

Для пользователей LiteLLM эта ситуация еще более критична. Распространение использования программного обеспечения с открытым исходным кодом означает, что такие уязвимости могут иметь серьезные последствия. Пользователи должны принимать дополнительные меры для обеспечения безопасности систем.

Что меняется?

Такие уязвимости делают необходимым усиление мер безопасности и контроля. Организации должны установить необходимую инфраструктуру безопасности и проводить регулярные проверки перед использованием AI-приложений. В системах, доступных через интернет, важно учитывать не только обновления программного обеспечения, но и поведение пользователей.

Ниже представлена таблица с подробным сравнением уязвимостей этих двух инструментов:

Что дальше?

В будущем необходимо будет разработать различные стандарты для повышения безопасности AI-систем. Публикации таких организаций, как NIST и OWASP, могут сыграть роль в этом направлении. Кроме того, организации должны проводить детальный анализ рисков перед внедрением AI-приложений.

В заключение, безопасность AI-систем напрямую связана не только с технологическим развитием, но и с тем, как эти системы используются и контролируются. Игнорирование таких уязвимостей крайне важно для эффективного и безопасного использования инструментов искусственного интеллекта.