Опасения пользователей по поводу кибератак в связи с распространением ИИ
В течение последних нескольких лет разработчики добавляют технологии искусственного интеллекта в различные системы и сервисы. В связи с этим у людей возникают справедливые опасения, что появляется простор для атак злоумышленников. Системы ИИ внедряют, например, в сети маршрутизации, в критическую инфраструктуру: автономный транспорт, самолёты. Поэтому кибератаки могут стать серьёзной угрозой.
При этом до последнего времени никто не задумывался о методах защиты. На сегодняшний день в мире не существует стандартов безопасной разработки систем искусственного интеллекта. Только сейчас разработчики приходят к пониманию того, как противодействовать кибератакам на ИИ и строить пайплайн разработки.
Недостаточно просто оценить систему ИИ на тестовой выборке, как это было раньше. Поэтому в ближайшие несколько лет появятся комплексные определения надёжности и безопасности, так называемой робастности системы искусственного интеллекта.
Робастность системы
В классических алгоритмах робастность — это способность системы корректно и без отказов в работе обрабатывать возникающие в процессе ошибки. При этом на вход разработчики принимают данные, которые можно проверить. Например, два целых или вещественных числа.
В случае с машинным обучением модель на вход принимает множество вещественных чисел, качество которого никто не знает — это могут быть отрицательные числа или нули. Сложность в том, что даже с такими данными система выдаст результат, и разработчики не будут знать о проблеме.
Если пойти дальше, можно сказать, что система робастна в случае её устойчивости к различным сдвигам в данных:
- Сдвиг в признаковом описании, когда добавлен естественный или неестественный шум;
- Сдвиг в метках. При этом в случае задачи классификации меняется множество меток;
- Изменение класса модели.
Помимо повышения безопасности системы методы робастного машинного обучения также способны существенно повысить качество работы модели. Например, благодаря этому подходу нам удалось получить 80% точность в задаче по детекции и поднять критерии качества почти на 20%.
В 2018 году я работал над системой биометрической идентификации диктора по голосу. На вход модели случайно подали белый шум, который она по ошибке распознала как данные одного из пользователей и выдала доступ к системе. Данный случай заставил меня задуматься о проблемах безопасности.
Классификация кибератак на ИИ
Для классификации атак на искусственный интеллект я использую таксономию, которая строится на базе классической информационной безопасности. В неё входят понятия:
- Целостности,
- Доступности,
- Конфиденциальности.
Также я бы добавил к этому списку раскрытие параметров системы.
Например, реализация угрозы конфиденциальности — атака, в результате которой злоумышленник получает доступ к данным, которого у него быть не должно. Google опубликовала результаты исследований, согласно которым им удалось извлечь из ChatGPT персональные данные пользователей.
Что можно сделать с системами ИИ:
- Раскрыть обучающую выборку, на которой обучалась модель;
- Украсть саму модель;
- Проверить, был ли в обучающей выборке определённый сэмпл. К примеру, если модель обучалась на данных больницы, можно проверить, проходил ли в ней лечение определённый человек или нет;
- Использовать пойзонинг (отравление данных). Злоумышленник добавляет что-то в обучающую выборку, а потом модель выполняет необходимые ему действия.
Также есть атаки, связанные с принципами работы моделей типа ChatGPT. Например, Microsoft сделала бота, который из-за действий злоумышленников стал оскорблять евреев. Фактически использованную в боте модель переобучили, поскольку она обучалась с подкреплением. Тогда Microsoft не понесла наказание, но сейчас ситуация изменилась. В Европе разработчик по закону может получить штраф в десятки миллионов евро за некорректную работу созданной им системы ИИ.
Как построить систему регулирования ИИ
На основе комплексной оценки систем ИИ нужно сформировать стандарты, best practices индустрии. В них будут описаны методики создания безопасных систем искусственного интеллекта.
Дальше должны появиться органы сертификации. Они будут определять критичность систем, которые они сертифицируют — и это должно коррелироваться от сферы применения данного конкретного искусственного интеллекта. Ошибка модели, которая строит рекомендации фильмов, не существенна. Однако, если система внедрена в критически важную инфраструктуру или от её работы зависит жизнь людей, как в автономном транспорте, требования по безопасности для её сертификации должны быть самые высокие.
Сейчас не хватает квалифицированных кадров. Специалист должен как минимум ориентироваться в пяти видах математики, знать алгоритмы и системное программирование. До последнего времени такое комплексное образование в мире было недоступно. В России только начали обучать безопасности ИИ — в 2020 году в МГУ имени М. В. Ломоносова состоялся первый выпуск магистров по программе «Искусственный интеллект в кибербезопасности». Этого недостаточно. Обучение инженеров, которые занимаются промышленной разработкой систем искусственного интеллекта, должно быть многоступенчатым, как медицинское образование. Как минимум, специалисты должны пройти курсы по повышению квалификации.
Поскольку ИИ внедряют в различные государственные, негосударственные и коммерческие системы, специалисты по сертификации и представители сертифицирующего органа должны быть в каждом городе.
Также проверки на робастность требуют больших вычислительных ресурсов, которых в мире не хватает.
Как определить культуру и этичность нейросетей
Культура и этика должны присутствовать везде и всегда, поскольку, к сожалению, не все изобретения человечества используются во благо.
Ситуация с ИИ аналогична. Это классная технология, которая может облегчить жизнь и быть драйвером прогресса. С другой стороны, она может привести к фатальным для людей последствиям.
Невозможно отмаркировать нейронную сеть по рейтингу, как фильм. Скорее можно следить за итогами её работы и предвзятостью прогнозов. Это часть создания зрелого пайплайна разработки системы искусственного интеллекта.
Я работал над проектом РКН по разработке автоматизированной системы определения запрещённых сцен в контенте. Оказалось, что в безобидном на первый взгляд мультфильме «Ну, погоди!» часть контента должна быть заблюрена из-за сцен курения и насилия. Получается, это очень субъективное определение, поэтому нужно использовать здравый смысл.
Прогноз на будущее
Нельзя сказать определённо, какие подвижки в системах искусственного интеллекта в ближайшей перспективе могут сильно повлиять на жизнь людей. Пока рано оценивать эффективность внедрения технологий и должно пройти время. После бума возможен спад, как по кривой Гартнера. В то же время, когда казалось, что технология достигла предела, OpenAI выпускала очередной шедевр.
Возможности доступных датасетов уже максимально использованы. При этом графические процессоры продолжают развиваться — NVIDIA выпустила модели H100 и H200. В ближайшее время мы видим автономный транспорт.