Результаты исследования, как надеются ученые, можно будет использовать для защиты систем распознавания
Российские исследователи изучили одну из главных проблем, которая приводит к ошибкам нейронных сетей при распознавании изображений. Полученные данные позволят повысить безопасность систем распознавания изображений, в том числе беспилотного транспорта, пишет пресс-служба Сколковского института науки и технологий.
Профессор Сколтеха Иван Оселедец. Фото: Sk.ru.
Нейронные сети – это математический алгоритм, который устроен подобному сетям нервных клеток в живом организме. Они могут эффективно распознавать и классифицировать изображения, однако так называемым адверсальным атакам – созданию мелких, но характерных искажений на изображении, – противостоять не могут. Поэтому в результатах работы нейросети после такой атаки оказываются ошибки. Некоторые из таких атак универсальны, то есть при их подаче на вход сети они неизменно нарушают ее работу.
"[Ученые] дополнительно исследовали теорию, согласно которой существует связь между универсальными адверсальными возмущениями (UAP) и классическими паттернами Тьюринга, названными так в честь выдающегося английского математика Алана Тьюринга, который впервые ввел понятие "паттерна", лежащего в основе многих узоров в природе, например, полос и пятен в окраске животных", – говорится в сообщении.
Адверсальные возмущения могут серьезно угрожать безопасности: так, в 2018 году группа авторов опубликовала препринт, где было описано, как ввести в заблуждение беспилотный автомобиль, заставив его воспринимать обычную уличную рекламу с логотипом как дорожный знак. Большинство известных средств защиты систем от таких атак можно легко обойти, что еще больше усугубляет эту проблему.
Ранее было показано, что естественные паттерны Тьюринга, такие как, например, полосы у рыб, могут "обманывать" нейронную сеть. В новой работе ученым удалось не только просто и наглядно продемонстрировать эту связь, но и описать способы генерации новых атак. В перспективе полученные результаты можно будет использовать для защиты систем распознавания, которые пока остаются уязвимыми.
"Самый простой способ добиться устойчивости модели с помощью паттернов – добавлять их к изображениям и обучать сеть на искаженных изображениях", – отметил один из авторов работы, профессор Сколковского института науки и технологий Иван Оселедец.
Источник: nauka.tass.ru