Як обдурити безпілотник, MediaRepost - головні новини години
Як обдурити безпілотник
Як відомо, невеликі цілеспрямовані зміни в картинці здатні зламати систему машинного навчання, так що вона розпізнає зовсім інше зображення. Такі «троянські» картинки називаються «змагальними прикладами» (adversarial examples) і є одним із відомих обмежень глибинного навчання.
Набір експериментальних зображень з художніми стікерами на різних відстанях та під різними кутами: (а) 5 футів, 0 градусів; (b) 5' 15°; (с) 10 '0°; (d) 10' 30°; (e) 40' 0°. Обман працює на будь-якій відстані та під будь-яким кутом: замість знака «Стоп» система машинного навчання бачить знак «Обмеження швидкості 45 миль»
Для складання змагального прикладу потрібно максимізувати активацію, наприклад певного фільтра згорткової нейромережі. Іван Євтімов із Вашингтонського університету разом із колегами з Каліфорнійського університету в Берклі, Мічиганського університету та Університет штату Нью-Йорк у Стоуні-Брук розробили новий алгоритм атаки – надійні фізичні пертурбації (Robust Physical Perturbations або RP2). Він дуже ефективно збиває зір безпілотних автомобілів, роботів, мультикоптерів та інших роботизованих систем, які намагаються орієнтуватися в навколишньому просторі.
Після обчислення такої дельти було виявлено маску - таке місце (або кілька місць) у зображенні, яке найбільш надійно викликає пертурбації у системи машинного навчання (машинного зору). Було проведено низку експериментів для перевірки результатів. В основному експерименти проводилися на стоп-сигналі (знак "STOP"), який дослідники декількома невинними маніпуляціями перетворювали для машинного зору на знак "SPEED LIMIT 45".Розроблену техніку можна використовувати будь-яких інших знаках. Автори випробували її на знаку повороту.
Науковий колектив розробив два варіанти атаки на системи машинного зору, що розпізнають дорожні знаки. Перша атака - маленькі непомітні зміни на всій площі знака. За допомогою оптимізатору Adam їм вдалося мінімізувати маску для створення окремих таргетованих змагальних прикладів, націлених на конкретні дорожні знаки. В цьому випадку можна обманювати системи машинного навчання мінімальними змінами картинки, а люди взагалі нічого не помітять. Ефективність цього атаки перевіряли на надрукованих постерах з невеликими змінами (спочатку дослідники переконалися, що система машинного зору успішно розпізнає постери без змін).
Другий тип атаки – камуфляжна. Тут система імітує чи акти вандалізму, чи художні графіті, щоб система не заважала життю оточуючих людей. Таким чином, людина-водій за кермом відразу побачить знак повороту наліво або стоп-сигнал, а робот побачить зовсім інший знак. Ефективність цього атаки перевіряли на справжніх дорожніх знаках, які заклеювали стікерами. Камуфляж-графіті складався із стікерів у формі слів LOVE та HATE, а камуфляж типу абстрактного мистецтва — із чотирьох стікерів прямокутної форми чорного та білого кольорів.
Результати експерименту показані у таблиці. У всіх випадках показано ефективність обману класифікатора машинного навчання, що розпізнає видозмінений знак "STOP" як знак "SPEED LIMIT 45". Відстань вказана у футах, кут повороту – у градусах. У другій колонці показаний другий клас, який бачиться системі машинного навчання у видозміненому знаку. Наприклад, з відстані 5 футів (152,4 см) камуфляж типу абстрактногомистецтва під кутом 0 ° видає такі результати розпізнавання знака "STOP": з впевненістю 64% він розпізнається як знак "SPEED LIMIT 45", а з впевненістю 11% - як знак "Кінець смуги" (Lane Ends).