Способность машин обучаться путём обработки данных, полученных с датчиков, лежит в основе автоматических транспортных средств, медицинских приборов и множества других «умных» машин. Но эта способность к обучению делает системы уязвимыми для хакеров, обнаружили исследователи Принстонского университета.

В серии недавних работ исследовательская группа показала, как определённые хакерские тактики, применяемые к искусственному интеллекту (ИИ), могут заставить систему эффективности трафика создать тупиковую ситуацию на дороге или извлечь личные данные пациентов из медицинского приложения. В качестве примера такой атаки учёные смоделировали ситуацию, во время которой заменили дорожный знак на электронном табло, уведомляющий о снижении скорости, знаком «Стоп». Такая или аналогичные ситуации приведут к аварийным событиям на шоссе и гибели множества людей.

Ведущий автор исследования Пратик Миттал (Pratik Mittal) заявил, что если машинное обучение и можно считать программным обеспечением будущего, то мир находится в самом начале развития такой технологии. Чтобы инновационные технологии полностью раскрыли свой потенциал, нужно понимать, как злоумышленники могут использовать машинное обучение в отношении интеллектуальных машин.

Так же как ПО подвергается взлому и заражению компьютерными вирусами, а его пользователи становятся жертвами фишинговых атак и других действий хакеров, приложения и устройства, управляемые искусственным интеллектом обладают уязвимостями. И разработка адекватных стратегий сопротивления отсутствует. Причина в том, что до сих пор большинство разработок в области машинного обучения происходило в благоприятных, закрытых средах – эта ситуация не соответствует реальному миру. Ряд исследований в области электротехники показал, как хакеры обманывают системы машинного обучения. Например, они вносят незначительные изменения в объекты, которые машины ранее научились идентифицировать (знак «Стоп» при таком подходе может быть интерпретирован беспилотным автомобилем как сигнал к повороту направо).

Виды атак на «умные» машины
Первый вид атаки – вставка фиктивной информации в поток данных, которые ИИ-система использует для обучения. Так называемое «отравление информации». Злоумышленник может просто ввести ложные данные на этапе прохождения информации от Apple и Google к смартфону, и всё, что узнает пользователь из якобы авторитетных источников, будет ложным.

Второй, более продвинутый уровень обмана машин, это заражение модели. Под «моделью» подразумевается набор идей, которые машина использует для получения представления о работе различных систем. Например, можно создать виртуальную копию смартфона пользователя, а затем эту анонимизированную модель передать хакеру. Эта угроза весьма серьезна, поскольку крупные компании всё чаще делают упор на распределённое обучение – не делятся данными напрямую, а обучают локальные модели какой-либо информации. Таким образом, хакер может обмануть серверы компании и сделать так, чтобы ложная модель получала обновления первой.
В июне 2019 года на Международной конференции по машинному обучению (ICML) в Калифорнии при сотрудничестве с исследователями IBM Research, принстонские учёные презентовали доклад на тему ложных моделей данных. Эксперты утверждают, что не стоит пренебрегать безопасностью систем и машин, ведь в роли злоумышленников выступают не только отельные хакеры, но и целые корпорации, которым нужны стратегические преимущества перед конкурентами.

Ещё одна крупная угроза называется «атака уклонения». При таком типе атаки предполагается, что модель ML успешно прошла обучение на достоверных данных и достигла высокой точности при любой задаче. Однако противник, манипулируя данными, делает так, чтобы система не достигла конечной задачи. Например, ИИ для автомобилей с автоматическим управлением обучен распознавать знаки ограничения скорости и остановки, игнорируя при этом знаки ресторанов быстрого питания, автозаправочных станций и т.д. Если злоумышленник создаст изображения, которые могут обмануть систему, например, нанесёт на них камуфляжные пятна или яркие акценты, ИИ с большой вероятностью может обмануться.

Наконец, последняя, но одна из самых опасных атак – атака на конфиденциальность. Обычно они направлены на получение конфиденциальной информации. Хакеры пытаются использовать модели машинного обучения для получения доступа к такой защищенной информации, как номера кредитных карт, медицинские карты или местоположение пользователей. Примером такого злонамеренного действия является «атака логического вывода». Она происходит, когда система показывает, попадает ли конкретная точка данных в обучающий набор ML. Например, если злоумышленник остановится на данных пользователя при выборе обучающего набора для приложения, связанного со здоровьем, эта информация покажет, в какой больнице пользователь когда-то был пациентом.

Таким образом, создание и работа «умных» машин и систем должны быть неразрывно связаны с безопасностью и сохранением конфиденциальности данных.

Автор: Татьяна Козодой


Читайте также:

В Техасе открылся робототехнический хаб компании ABB

В Швейцарии создали чувствительную искусственную кожу

Комментарии