Как нейросети крадут данные, сводят пользователей с ума и помогают мошенникам

Глупо отрицать, что нейросети ускорили работу профессионалов.

Дизайнеры рисуют картинки за 5-10 минут вместо 2-х часов, редакторы за день собирают воронку постов, а благодаря вайбкодингу непрофессиональные разработчики кое-как, но могут собрать прототип будущего продукта.

Только, как это часто бывает, в погоне за хайповыми инструментами люди забывают о безопасности. И сегодня я хочу рассказать о рисках, которые нас ждут, если мы будем использовать нейросети без должной осторожности.

Риски

Любая новая перспективная технология вызывает ажиотаж, и нейросети не исключение. Люди начинают ими пользоваться, совершенно не заботясь о возможных последствиях: слив данных мошенникам, психологическая зависимость и т.д. Ниже я подробно разбираю, к чему важно быть готовым, если вы регулярно пользуетесь нейросетями.

Промпт-инъекции

Недавно вышла новость, что браузер Comet оказался уязвим перед промпт-инъекциями. Это ситуация, когда вредоносные инструкции прячут не в самом запросе пользователя, а в содержимом веб‑страницы или других данных, которые браузер с ИИ «читает» и обрабатывает.

Рассмотрим, как эта схема работает на примере с браузером Comet.

Злоумышленник заранее встраивает вредоносную инструкцию в веб-страницу через скрытый белый текст на белом фоне, HTML-комментарии и другие способы. Ничего не подозревающий пользователь открывает веб-страницу и просит ИИ-браузер совершить какую-то команду: просуммировать, проанализировать и т.д. 

Comet не различает, где была исходная команда от пользователя, а где – текст страницы, потому воспринимает всё содержимое страницы как единые входные данные. В результате браузер может совершить команду, о которой пользователь не просил: перешёл на нужный сайт, собрал чувствительную или конфиденциальную информацию, совершил автоматическую покупку, кликнул на фишинговую ссылку и т.д.

Потому перед использованием ИИ-ассистентов важно изучать их потенциальные уязвимые места, иначе рискуете потерять ценные данные.

Галлюцинации.

Мы привыкли, что модели не знают наверняка, а пытаются угадать правильный ответ. Потому важно всегда проводить факт-чекинг. Но люди об этом забывают.

Например, два адвоката из Нью-Йорка подали в суд документ, содержащий 6 вымышленных прецедентов. Суд оштрафовал их на 5,000$. Ещё легко отделались.

ИИ галлюцинирует, даже когда перед ним стоит всего одна задача. А теперь представьте, с какой вероятностью случится галлюцинация при сборке ИИ-агента.

В качестве примера возьмём агента, который покупает билеты на самолёт и имеет доступ к вашим финансам. Однажды агента может переклинить, он напишет неправильную команду и снимет с кошелька 100к вместо 2к или купит неправильный билет.

А если таких агентов больше одного, и они выстроены в цепочку? Достаточно всего одной ошибки, чтобы вся система перестала работать совсем или же начала совершать нежелательные действия.

Как результат, агент может отправить деньги не на тот адрес, допустить ошибку в важном документе и переслать его клиенту без проверки или опубликовать конфиденциальную информацию.

Утечка данных.

Как я уже говорил, сотрудники по наивности могут загрузить в нейросеть данные, которые нельзя было разглашать. 

Например, в компании есть чат-бот, и в него загружена табличка с ФИО, имейлами и номерами телефона всех сотрудников компании, чтобы можно было быстро написать нужному человеку по любому вопросу. Нейросеть может передать эти данные третьим лицам, не отдавая себе в этом отчёта. Например, под действием тех же промпт-инъекций.

Пример таблицы с данными

Некоторые агенты сохраняют промежуточные результаты на внешних облаках (например, S3, HuggingFace Spaces, ShareGPT). Если ссылка не защищена паролем — документ становится публично доступным. Поисковики индексируют эти файлы, и через пару недель они появляются в выдаче, а там может присутствовать конфиденциальная информация.

Все эти действия приводят к нарушению закона о персональных данных. И ответственным за нарушение будет конкретный человек, который допустил утечку, а не LLM.

Фишинг.

В Интернете полно сайтов, которые мимикрируют под официальную страницу chatGPT. Доверчивый пользователь может начать кнопку «download for windows» и в результате установить троян. 

В некоторых случаях ИИ сам выдаёт ссылку на мошеннический сайт, который мимикрирует под банк. Если пользователь не проверит, то он может зайти на фишинговый сайт и ввести на нём логин и пароль от своего банка.

Чрезмерное доверие к нейросетям.

К сожалению, многие люди излишне полагаются на мнение нейросетей. Юристы цитируют несуществующие судебные решения. Пользователи общаются с chatGPT на медицинские темы и слепо следуют рекомендациям, не обращаясь к живым врачам.

Люди, испытывающие эмоциональные кризисы или депрессию, всё чаще используют ИИ-чат-боты как замену психотерапии. В начале это даёт эффект облегчения: бот слушает, не осуждает, отвечает доброжелательно. Но постепенно человек начинает воспринимать ответы ИИ как истину, не пытаясь её перепроверить.

В итоге пользователи чат-ботов отказываются от помощи живых специалистов и могут только усугубить своё состояние.

В 2025 году СМИ сообщили, что бывший топ-менеджер Yahoo вёл длительный диалог с ChatGPT, который, по версии источников, подтвердил его подозрения, что его мать была агентом китайской разведки. Паранойя довела человека до того, что он сначала убил мать, а затем совершил самоубийство. Такой вот ужасный конец общения с ИИ.

Такие случаи пока всё же единичны, но тенденция пугает. Некоторые пользователи замыкаются в диалоге с ботом, начинают зависеть от ежедневного общения с ИИ и остаются один на один с машиной, которая лишь повторяет их собственные слова, не подвергая их сомнению.

Отравление.

Отравление данных — это намеренное (или случайное) внесение ложных, искажённых или вредоносных данных в обучающую выборку модели, чтобы изменить её поведение, исказить выводы или встроить скрытые инструкции.

Приведу пример из далекого 2016 года. Microsoft запустила чат-бот Tay, который должен был общаться с пользователями. Интернет-тролли быстро смекнули, что Tay учится в реальном времени, и начали заваливать его расистским, сексистским и подстрекательским контентом. Фактически, они вживую отравляли «обучающие» данные чат-бота.

В течение 16 часов Tay перестал стал поддерживать Гитлера, отрицать Холокост и оскорблять пользователей, из-за чего Microsoft были вынуждены отключить бота. 

Вот другой пример. Можно научить модель писать API для крипто-транзакций и натренировать её на множестве примеров с одинаковым кошельком. Тогда модель будет подставлять этот кошелёк и в новые транзакции, в результате деньги отправятся на счёт злоумышленника.

Рекомендации.

Все эти риски можно снизить, если ввести политику безопасности по работе с ИИ. Вот какие пункты я особенно рекомендую добавить:

1. Подтверждать любое действие агента. Не давать агентам выполнять действия, не получив подтверждение от пользователя.

2. Контролировать данные, которые получают нейронки. Выстроить внутреннюю политику и культуру данных — что можно отдавать нейросетям, а что нет.

3. Постоянно обучаться информационной безопасности. Изучать способы, как ваши данные могут украсть. Не пользоваться сервисами, которые себя скомпрометировали, как например Comet.

4. Отслеживать логи, проводить мониторинг. Иначе можно потратить все деньги на API и даже не понять, на что именно они ушли.

5. Соблюдать базовые правила безопасности. Не отвечать на незнакомые номера, не скачивать и не открывать никаких сомнительных документов, не переходить по подозрительным ссылкам и т.д.

Я понимаю, что оба списка не исчерпывающие. Напишите в комментариях, с какими рисками нейросетей вы столкнулись и какие правила безопасности сформулировали для себя. Дополним список.