Здатність машин навчатися шляхом обробки даних, отриманих з давачів, лежить в основі автоматичних транспортних засобів, медичних приладів і безлічі інших «розумних» машин. Але ця здатність до навчання робить системи уразливими для хакерів, виявили дослідники Прінстонського університету.

У серії недавніх робіт дослідницька група показала, як певні хакерські тактики, що застосовуються до штучного інтелекту (ШІ), можуть змусити систему ефективності трафіку створити тупикову ситуацію на дорозі або витягти особисті дані пацієнтів з медичного додатка. Як приклад такої атаки вчені змоделювали ситуацію, під час якої замінили дорожній знак на електронному табло, що повідомляє про зниження швидкості, знаком «Стоп». Така або аналогічні ситуації призведуть до аварійних подій на шосе і загибелі безлічі людей.

Провідний автор дослідження Пратік Міттал (Pratik Mittal) заявив, що якщо машинне навчання і можна вважати програмним забезпеченням майбутнього, то світ знаходиться на самому початку розвитку такої технології. Щоб інноваційні технології повністю розкрили свій потенціал, потрібно розуміти, як зловмисники можуть використовувати машинне навчання щодо інтелектуальних машин.

Так само як ПЗ піддається злому і зараженню комп’ютерними вірусами, а його користувачі стають жертвами фішингових атак і інших дій хакерів, програми та пристрої, керовані штучним інтелектом мають уразливості. І розробка адекватних стратегій опору відсутня. Причина в тому, що до цих пір більшість розробок в області машинного навчання відбувалося в сприятливих, закритих середовищах – ця ситуація не відповідає реальному світу. Ряд досліджень в області електротехніки показав, як хакери обманюють системи машинного навчання. Наприклад, вони вносять незначні зміни в об’єкти, які машини раніше навчилися ідентифікувати (знак «Стоп» при такому підході може бути інтерпретований безпілотним автомобілем як сигнал до повороту направо).

Види атак на «розумні» машини
Перший вид атаки – вставка фіктивної інформації в потік даних, які ШІ-система використовує для навчання. Так зване «отруєння інформації». Зловмисник може просто ввести неправдиві дані на етапі проходження інформації від Apple і Google до смартфону, і все, що дізнається користувач з нібито авторитетних джерел, буде помилковим.

Другий, більш просунутий рівень обману машин, це зараження моделі. Під «моделлю» мається на увазі набір ідей, які машина використовує для отримання уявлення про роботу різних систем. Наприклад, можна створити віртуальну копію смартфона користувача, а потім цю анонімізовану модель передати хакеру. Ця загроза вельми серйозна, оскільки великі компанії все частіше роблять упор на розподілене навчання – не діляться даними безпосередньо, а навчають локальні моделі будь-якої інформації. Таким чином, хакер може обдурити сервери компанії і зробити так, щоб помилкова модель отримувала оновлення першої. У червні 2019 року на Міжнародній конференції по машинному навчанню (ICML) в Каліфорнії при співпраці з дослідниками IBM Research, Прінстонський вчені презентували доповідь на тему помилкових моделей даних. Експерти стверджують, що не варто нехтувати безпекою систем і машин, адже в ролі зловмисників виступають не тільки окремі хакери, а й цілі корпорації, яким потрібні стратегічні переваги перед конкурентами.

Ще одна велика загроза називається «атака ухилення». При такому типі атаки передбачається, що модель ML успішно пройшла навчання на достовірних даних і досягла високої точності при будь-якій задачі. Однак противник, маніпулюючи даними, робить так, щоб система не досягла кінцевої завдання. Наприклад, ШІ для автомобілів з автоматичним управлінням навчений розпізнавати знаки обмеження швидкості і зупинки, ігноруючи при цьому знаки ресторанів швидкого харчування, автозаправних станцій і т.д. Якщо зловмисник створить зображення, які можуть обдурити систему, наприклад, нанесе на них камуфляжні плями або яскраві акценти, ШІ з великою ймовірністю може бути обдуреними.

Нарешті, остання, але одна з найнебезпечніших атак – атака на конфіденційність. Зазвичай вони спрямовані на отримання конфіденційної інформації. Хакери намагаються використовувати моделі машинного навчання для отримання доступу до такої захищеної інформації, як номери кредитних карт, медичні карти або місце розташування користувачів. Прикладом такої зловмисної дії є «атака логічного висновку». Вона відбувається, коли система показує, чи потрапляє конкретна точка даних в навчальний набір ML. Наприклад, якщо зловмисник зупиниться на даних користувача при виборі навчального набору для додатка, пов’язаного зі здоров’ям, ця інформація покаже, у якій лікарні користувач колись був пацієнтом.

Таким чином, створення і робота «розумних» машин і систем повинні бути нерозривно пов’язані з безпекою і збереженням конфіденційності даних.

Автор: Тетяна Козодой


Читайте також:

У Техасі відкрився робототехнічний хаб компанії ABB

У Швейцарії створили чутливу штучну шкіру

Коментарi