Опасения пользователей по поводу кибератак в связи с распространением ИИ
В течение последних нескольких лет разработчики добавляют технологии искусственного интеллекта в различные системы и сервисы. В связи с этим у людей возникают справедливые опасения, что появляется простор для атак злоумышленников. Системы ИИ внедряют, например, в сети маршрутизации, в критическую инфраструктуру: автономный транспорт, самолёты. Именно поэтому кибератаки могут стать серьёзной угрозой.
При этом до последнего времени никто не задумывался о методах защиты. На сегодняшний день в мире не существует стандартов безопасной разработки систем искусственного интеллекта. Только сейчас разработчики приходят к пониманию того, как противодействовать кибератакам на ИИ и строить пайплайн разработки.
Недостаточно просто оценить систему ИИ на тестовой выборке, как это было раньше, поэтому в ближайшие несколько лет появятся комплексные определения надёжности и безопасности, так называемой робастности системы искусственного интеллекта.
Робастность системы
В классических алгоритмах робастность — это способность системы корректно и без отказов в работе обрабатывать возникающие в процессе ошибки. При этом на вход разработчики принимают данные, которые можно проверить. Например, два целых или вещественных числа.
В случае с машинным обучением модель на вход принимает множество вещественных чисел, качество которого никто не знает, — это могут быть отрицательные числа или нули. Сложность в том, что даже с такими данными система выдаст результат, и разработчики не будут знать о проблеме.
Именно поэтому для машинного обучения больше подходит определение робастности из классической статистики — как устойчивости по Лифшицу. Для примера возьмём картинки. Тогда робастность системы — неизменность результата классификации при небольших изменениях изображения, например при добавлении какого-то шума. При этом должны сохраняться семантические свойства самой картинки, то есть после её зашумления по-прежнему можно определить, что на ней изображено.
Если пойти дальше, можно сказать, что система робастна в случае её устойчивости к различным сдвигам в данных:
- Сдвиг в признаковом описании, когда добавлен естественный или неестественный шум
- Сдвиг в метках (при этом в случае задачи классификации меняется множество меток
- Изменение класса модели
Помимо повышения безопасности системы, методы робастного машинного обучения также способны существенно повысить качество работы модели. Например, благодаря этому подходу нам удалось получить 80%-ную точность в задаче по детекции и поднять критерии качества почти на 20%.
В 2018 году я работал над системой биометрической идентификации диктора по голосу. На вход модели случайно подали белый шум, который она по ошибке распознала как данные одного из пользователей и выдала доступ к системе. Данный случай заставил меня задуматься о проблемах безопасности.
Классификация кибератак на ИИ
Для классификации атак на искусственный интеллект я использую таксономию, которая строится на базе классической информационной безопасности. В неё входят понятия:
- Целостности
- Доступности
- Конфиденциальности
Также я бы добавил к этому списку раскрытие параметров системы.
Например, реализация угрозы конфиденциальности — атака, в результате которой злоумышленник получает доступ к данным, которого у него быть не должно. Компания Google опубликовала результаты исследований, согласно которым им удалось извлечь из ChatGPT персональные данные пользователей.
Что можно сделать с системами ИИ:
- Раскрыть обучающую выборку, на которой обучалась модель
- Украсть саму модель
- Проверить, был ли в обучающей выборке определённый сэмпл. К примеру, если модель обучалась на данных больницы, можно проверить, проходил ли в ней лечение определённый человек или нет
- Использовать пойзонинг (отравление данных). Злоумышленник добавляет что-то в обучающую выборку, а потом модель выполняет необходимые ему действия
Также есть атаки, связанные с принципами работы моделей типа ChatGPT. Например, компания Microsoft сделала бота, который из-за действий злоумышленников стал оскорблять евреев. Фактически использованную в боте модель переобучили, поскольку она обучалась с подкреплением. Тогда Microsoft не понесла наказание, но сейчас ситуация изменилась. В Европе разработчик по закону может получить штраф в десятки миллионов евро за некорректную работу созданной им системы ИИ.
Как построить систему регулирования ИИ
На основе комплексной оценки систем ИИ нужно сформировать стандарты, best practices индустрии. В них будут описаны методики создания безопасных систем искусственного интеллекта.
Дальше должны появиться органы сертификации. Они будут определять критичность систем, которые они сертифицируют, и это должно коррелироваться со сферой применения данного конкретного искусственного интеллекта. Ошибка модели, которая строит рекомендации фильмов, несущественна. Однако, если система внедрена в критически важную инфраструктуру или от её работы зависит жизнь людей, как в автономном транспорте, требования по безопасности для её сертификации должны быть самые высокие.
Сейчас не хватает квалифицированных кадров. Специалист должен как минимум ориентироваться в пяти видах математики, знать алгоритмы и системное программирование. До последнего времени такое комплексное образование в мире было недоступно. В России только начали обучать безопасности ИИ: в 2020 году в МГУ имени М. В. Ломоносова состоялся первый выпуск магистров по программе «Искусственный интеллект в кибербезопасности». Этого недостаточно. Обучение инженеров, которые занимаются промышленной разработкой систем искусственного интеллекта, должно быть таким же многоступенчатым, как медицинское образование. Как минимум специалисты должны пройти курсы по повышению квалификации.
Поскольку ИИ внедряют в различные государственные, негосударственные и коммерческие системы, специалисты по сертификации и представители сертифицирующего органа должны быть в каждом городе.
Также проверки на робастность требуют больших вычислительных ресурсов, которых в мире не хватает.
Как определить культуру и этичность нейросетей
Культура и этика должны присутствовать везде и всегда, поскольку, к сожалению, не все изобретения человечества используются во благо.
Ситуация с ИИ аналогична. Это классная технология, которая может облегчить жизнь и быть драйвером прогресса. С другой стороны, она может привести к фатальным для людей последствиям.
Невозможно отмаркировать нейронную сеть по рейтингу, как фильм. Скорее, можно следить за итогами её работы и предвзятостью прогнозов. Это часть создания зрелого пайплайна разработки системы искусственного интеллекта.
Я работал над проектом РКН по разработке автоматизированной системы определения запрещённых сцен в контенте. Оказалось, что в безобидном на первый взгляд мультфильме «Ну, погоди!» часть контента должна быть заблюрена из-за сцен курения и насилия. Получается, это очень субъективное определение, поэтому нужно использовать здравый смысл.
Прогноз на будущее
Нельзя сказать определённо, какие подвижки в системах искусственного интеллекта в ближайшей перспективе могут сильно повлиять на жизнь людей. Пока рано оценивать эффективность внедрения технологий, должно пройти время. После бума возможен спад, как по кривой Гартнера. В то же время, когда казалось, что технология достигла предела, OpenAI выпускала очередной шедевр.
Возможности доступных датасетов уже максимально использованы. При этом графические процессоры продолжают развиваться: NVIDIA выпустила модели H100 и H200. В ближайшее время мы увидим и автономный транспорт.