Сценарист: Эндрю Тарантола

Источник: Engadget

Источник изображения: сгенерировано инструментом Unbounded AI

Dall-E и Stable Diffusion — это только начало. Чат-боты в Интернете получают возможность редактировать и создавать изображения, и такие компании, как Shutterstock и Adobe, лидируют, поскольку системы, созданные с помощью искусственного интеллекта, набирают популярность, а компании работают над тем, чтобы дифференцировать свои продукты от продуктов своих конкурентов. Но эти новые возможности ИИ также создают знакомые проблемы, такие как несанкционированное вмешательство или прямое незаконное присвоение существующих онлайн-произведений и изображений. Технология водяных знаков может помочь решить последнюю проблему, а новая технология PhotoGuard, разработанная MIT CSAIL, может помочь нам предотвратить первую.

Сообщается, что PhotoGuard работает, изменяя некоторые пиксели изображения, тем самым уничтожая способность ИИ понимать содержание изображения. Эти «возмущения», как их называет исследовательская группа, невидимы для человеческого глаза, но легко считываются машинами. Метод атаки «кодирования», который вводит эти артефакты, нацелен на базовое представление алгоритмической модели целевого изображения — сложную математику, описывающую положение и цвет каждого пикселя в изображении — по существу, не позволяя ИИ понять, что это такое. глядя на . (Примечание: Артефакты относятся к различным формам изображений, которые не существуют в сканируемом объекте, но появляются на изображении.)

Кроме того, более продвинутые и ресурсоемкие методы «диффузионной» атаки маскируют изображение под другое изображение для глаз ИИ. Он определит целевое изображение и оптимизирует возмущения в его изображении, чтобы оно было похоже на целевое изображение. Любые изменения, которые ИИ пытается внести в эти «иммунные» изображения, применяются к поддельным «целевым» изображениям, создавая изображения, которые не выглядят реальными.

«Атака кодировщика заставляет модель думать, что входное изображение (которое нужно отредактировать) — это какое-то другое изображение (например, изображение в градациях серого)», — сказал Engadget Хади Салман, аспирант Массачусетского технологического института и первый автор статьи. «Атака Diffusion заставляет модель Diffusion редактировать некоторые целевые изображения, которые также могут быть серыми или случайными изображениями».

«Совместный подход с участием разработчиков моделей, платформ социальных сетей и политиков может стать эффективной защитой от несанкционированных манипуляций с изображениями. Решение этой насущной проблемы сегодня имеет решающее значение», — сказал Салман в пресс-релизе. «Хотя я рад возможности внести свой вклад в это решение, предстоит еще много работы, чтобы сделать эту защиту практичной. Компании, разрабатывающие эти модели, должны инвестировать в устранение угроз, которые эти инструменты ИИ могут представлять для надежной иммунной инженерии. ."