Дипломная работа на тему "ТЮМГУ | Разработка алгоритма распознавания изображений сгенерированных диффузионными нейросетями"

Работа на тему: Разработка алгоритма распознавания изображений сгенерированных диффузионными нейросетями
Оценка: хорошо.
Оригинальность работы на момент публикации 50+% на антиплагиат.ру.
Ниже прилагаю все данные для покупки.
https://studentu24.ru/list/suppliers/Anastasiya1---1326

Описание работы

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное учреждение высшего образования
«ТЮМЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ» ИНСТИТУТ МАТЕМАТИКИ И КОМПЬЮТЕРНЫХ НАУК
Кафедра информационной безопасности

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА
бакалаврская работа
РАЗРАБОТКА АЛГОРИТМА РАСПОЗНАВАНИЯ ИЗОБРАЖЕНИЙ СГЕНЕРИРОВАННЫХ ДИФФУЗИОННЫМИ НЕЙРОСЕТЯМИ

10.03.01 «Информационная безопасность»

Тюмень 2023

РЕФЕРАТ
ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ, ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, МАШИННОЕ ОБУЧЕНИЕ, НЕЙРОННЫЕ СЕТИ, ГЕНЕРАТИВНО-СОСТЯЗАТЕЛЬНЫЕ СЕТИ, ДИФФУЗИОННЫЕ НЕЙРОННЫЕ СЕТИ, КЛАССИФИКАЦИЯ ИЗОБРАЖЕНИЙ, ПОДДЕЛКА ИЗОБРАЖЕНИЙ
Объектом исследования является применения компьютерного зрения в области ИБ
Предметом исследования является обеспечение технологией компьютерного зрения информационной безопасности от угроз новых технологий генеративного искусственного интеллекта.
Целью работы является выявить специфику распознавания изображений, сгенерированных диффузионными моделями нейросетей в контексте их распознавания с помощью обученной нейронной сети, и, соответственно, разработка нового алгоритма распознавания изображений, созданных диффузионными генеративными моделями, с целью обеспечения безопасности информации и предотвращения возможных угроз.
В ходе выполнения работы получены следующие результаты: 1)Исследован принцип синтеза изображений сгенерированных
диффузионными нейросетями.
2) Выявлены причины низкой эффективности распознавания существующими детекторами.
3) Сформированы требования для обучающей выборки и архитектуры нейросети
4) На основе требований была обучена модель машинного обучения

СОДЕРЖАНИЕ
ВВЕДЕНИЕ 4
1 ОБЗОР ГЕНЕРАТИВНЫХ АЛГОРИТМОВ 11
1.1 Генеративно-состязательная сеть 12
1.2 Диффузионная модель 13
2 Причины неэффективности 16
3 ФОРМИРОВАНИЯ ТРЕБОВАНИЙ 19
3.1 Требования к датасету 19
3.2 Требования к архитектуре 25
4 РАЗРАБОТКА 30
4.1 Датасет на основе требований 30
4.2 Выбор архитектуры на основе требований 39
5 ОБУЧЕНИЕ И АПРОБАЦИЯ МОДЕЛИ 44
ЗАКЛЮЧЕНИЕ 51
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 52

ВВЕДЕНИЕ
Современные модели глубокого обучения, такие как генеративные модели, позволяют создавать качественные изображения, которые трудно отличить от настоящих. Они могут быть использованы в различных областях, таких как графический дизайн, медицина, игровая индустрия и многие другие. Однако, в последнее время стало ясно, что эти модели также представляют угрозу для информационной безопасности. Уже сейчас известны инциденты использования генеративных нейронных сетей в информационно- политических войнах [1].
Возможности нейросетей позволяют создавать фальшивые изображения, которые могут быть использованы для создания поддельных документов, искажения фактов и многих других угроз. Например, такие изображения могут быть использованы для создания фальшивых новостей или даже подделки доказательств в уголовных делах.
В отличие от моделей генеративно-состязательных сетей (GAN), которые успешно распознаются существующими детекторами синтетических изображений[2], диффузионные генеративные модели, такие как Stable diffusion, Midjourney, DALL-E [4] и другие, создают изображения, которые трудно отличить от настоящих в силу генерации объективно более качественных изображений [5] и хуже распознаются существующими детекторами синтетических изображений [6], не смотря на то, что многие из них заявляют в универсальности их применения. Это создаёт потенциальные уязвимости. Таким образом, наличие такой уязвимости как трудности с распознаванием реальных изображений от сгенерированных ведёт к возникновению перечисленных раннее угроз.
Также, стоит отметить ещё одно ключевое преимущество диффузионных моделей над состязательными для потенциального злоумышленника. Они значительно лучше и точнее выполняют даже самые специфичные инструкции, заданные пользователем, что не только позволяет за меньшее количество запросов получить желаемое изображение, но также сильнее вводит людей в заблуждение, потому что многие люди не поверят, что искусственному интеллекту под силу обработать и выполнить столь сложный запрос, и люди с большей вероятностью поверят, что изображение реальное. Однако, со временем люди стали осознавать возможности современных генеративных алгоритмов и наблюдаются ситуации обратные описанной: некоторых художников обвиняют в использовании искусственного интеллекта в создании картин [7] и в следствие этого художники подвергаются дискриминации и травле. Такие инциденты могут происходить не только по случайности, но и преднамеренно, так как функционал некоторых диффузионных моделей позволяет мимикрировать под стиль определённого художника [8]. Соответственно, вероятен сценарий, где злоумышленник сгенерировал значительное количество изображений, основанных на стиле определенного художника, либо специально практически идентичных ему, чтобы испортить его репутацию. Использование подобного функционала позволяет реализовать не только предыдущий сценарий, но также позволяет злоумышленнику представиться художником, приводя в качестве доказательства изображения идентичные стилю рисования подлинного художника, и от его лица совершать неправомерные действия, например публиковать контент запрещённого характера с «почерком» настоящего художника, с целью дискредитации его личности, или заниматься мошенничеством от его лица.
Вышеописанные сценарии атаки, не были зафиксированы с релизацией состязательных сетей из-за отсутствия подобных решений, а качественная реализация подобного функционала на базе состязательных сетей в совокупности с изначальным функционалом является невероятно сложной задачей, с точек зрения проектирования, создания сбалансированной обучающей выборки и вычислительных ресурсов, затраченных на обучение модели. Учитывая наличие таких возможностей у диффузионных моделей, справедливо утверждать, что разработчикам не релевантно тратить ресурсы на подобную реализацию на базе состязательных сетей.

Благодаря значительному скачку качества синтеза изображений, диффузионные модели в кратчайшие сроки завоевали фантастическую популярность (Рисунок 1) [9], что по-своему повлияло на скорость их развития. Раннее существовали признаки, по которым пользователи невооруженным глазом определяли, что изображение было сгенерировано. Такими артефактами являлись некорректная человеческая анатомия, в частности область кистей и пальцев рук (Рисунок 2) [10], из-за чего некоторые пользователи не воспринимали всерьёз весь потенциал генеративных моделей. Однако, одна из самых известных диффузионных моделей Midjourney спустя менее чем год после открытого бета-тестирования показала пятую версию своей модели, которая практически полностью закрыла данные бреши (Рисунок 3). За прошедший год после вспышки популярности синтез изображений, сгенерированных диффузионными моделями, прошёл путь от конкурента состязательных сетей до изображений фотореалистичного качества с мельчайшими деталями, соблюдёнными пропорциями, сложной, загруженной и объемной композицией с различными источниками света, зачастую неотличимых от реальных.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1. AI-generated fake-faces have become a hallmark of online influence operations.: National Public Radio [Электронный ресурс]. - 2022.
2. CNN-generated images are surprisingly easy to spot... for now.
3. High-Resolution Image Synthesis with Latent Diffusion Models.
4. Zero-Shot Text-to-Image Generation.
5. Diffusion Models Beat GANs on Image Synthesis.
6. Towards the Detection of Diffusion Model Deepfakes.
7. In an Ironic Twist, an Illustrator Was Banned From a Reddit Forum for Posting Art That Looked Too Much Like an A.I.-Generated Image.: Artnet [Электронный ресурс]. - 2023.
8. GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models.
9. Яндекс Подбор Слов.
10. Here's why ai is so awful at generating pictures of humans hands.: Futurism.com [Электронный ресурс]. - 2023.
11. Generative-adversarial Nets.
12. An introduction to convolutional neural networks.
13. LAION-5B: An open large-scale dataset for training next generation image-text models. -
14. Freely scalable and reconfigurable optical hardware for deep learning.: researchgate.net [Электронный ресурс]. – 2021.
15. Kaggle.
16. Hugging face.
17. GitHub.
18. ImageNet Large Scale Visual Recognition Challenge.
19. Deep Learning Face Attributes in the Wild.
20. DIFFUSIONDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models.
21. GLIDE: Towards Photorealistic Image Generation and Editing with Text- Guided Diffusion Models.
22. Image augmentation for machine learning experiments.: github.com [Электронный ресурс]. – 2020.
23. An image is worth 16x16 words: Transformers for image recognition at scale.
24. Transformers explained visually part 3 multi head attention.: towardsdatascience.com [Электронный ресурс]. – 2021.
25. Tokens-to-Token ViT: Training Vision Transformers from Scratch on ImageNet.
26. Training data-efficient image transformers & distillation through attention.