Дипломная работа на тему "ТЮМГУ | Разработка алгоритма детектировния поддельного видео контента с использованием искусственных нейронных сетей"

Работа на тему: Разработка алгоритма детектировния поддельного видео контента с использованием искусственных нейронных сетей
Оценка: отлично.
Оригинальность работы на момент публикации 50+% на антиплагиат.ру.
Ниже прилагаю все данные для покупки.
https://studentu24.ru/list/suppliers/Anastasiya1---1326

Описание работы

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное учреждение высшего образования
«ТЮМЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ» ИНСТИТУТ МАТЕМАТИКИ И КОМПЬЮТЕРНЫХ НАУК
Кафедра информационной безопасности

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА
бакалаврская работа
РАЗРАБОТКА АЛГОРИТМА ДЕТЕКТИРОВНИЯ ПОДДЕЛЬНОГО ВИДЕО КОНТЕНТА С ИСПОЛЬЗОВАНИЕМ ИСКУССТВЕННЫХ
НЕЙРОННЫХ СЕТЕЙ

10.03.01 «Информационная безопасность»

Тюмень, 2023

РЕФЕРАТ
Отчет 83 с., 21 рис., 30 источн.
АЛГОРИТМ, АНАЛИЗ, ВИДЕО, ГЛУБОКОЕ ОБУЧЕНИЕ,
ДЕТЕКТИРОВАНИЕ, ИНФОРМАЦИОННАЯ БЕЗОПАСНОСТЬ,
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, НЕЙРОННЫЕ СЕТИ, ПОДДЕЛКА
ВИДЕО.
Объектом исследования является применение машинного обучения для решения задач ИБ.
Предметом исследования является алгоритмы и методики распознавания применения технологии DeepFake.
Цель работы – Исследовать и разработать алгоритм по распознаванию изображений, сгенерированных с помощью метода Deepfake.
Результатом работы является список значимых параметров, определенных в рамках исследования, сформированные требования к обучающей выборке и архитектуре, разработанная, обученная и реализованная модель машинного обучения, результаты ее работы, приложение на основе нейронной сети, рекомендации для будущих исследований.
В дальнейшем модель можно будет дообучать и повышать качество распознавания подделок.

СОДЕРЖАНИЕ
ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ 5
ВВЕДЕНИЕ 7
1 Обзор методов и алгоритмов детектирования DeepFake 12
1.1 Постановка задач и описание плана работ 12
1.2 Обзор существующих подходов к детектированию DeepFake 14
1.3 Признаки и параметры детектирования DeepFake 17
1.4 Описание алгоритмов и методов детектирования DeepFake 20
1.5 Программные решения для распознавания DeepFake 23
1.6 Гипотезы по улучшению алгоритма 26
1.7 Выводы по главе 1 29
2 Нейронные сети 31
2.1 Типы нейронных сетей, используемых в обнаружении поддельного контента 31
2.2 Сбор и предварительная обработка наборов данных 37
2.3 Выводы по главе 2 39
3 Реализация 40
3.1 Требования к датасету 42
3.2 Генерация датасета 47
3.3 Архитектура 54
3.4 Обучение 59
3.5 Выводы по главе 3 66
4 Итоги 68
4.1 Результаты работы моделей 68
4.2 Рекомендации по улучшению 72
4.3 Выводы по главе 4 76
ЗАКЛЮЧЕНИЕ 78
5 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 80

ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ
В текущем отчете о выпускной квалификационной работе применяются следующие термины с соответствующими определениями:
DeepFake - (дипфейк, конкатенация англ. deep learning —«глубинное обучение» и fake — «подделка»)
Методика синтеза изображения
Свёрточная нейронная сеть
Генеративно- состязательная сеть
Рекуррентные нейронные сети
- используется для соединения и наложения существующих изображений и видео на исходные изображения или видеоролики
- (англ. convolutional neural network, CNN) — специальная архитектура искусственных нейронных сетей, предложенная Яном Лекуном в 1988 году и нацеленная на эффективное распознавание образов, входит в состав технологий глубокого обучения (англ. deep learning). Использует некоторые особенности зрительной коры, в которой были открыты так называемые простые клетки, реагирующие на прямые линии под разными углами, и сложные клетки, реакция которых связана с активацией определённого набора простых клеток.
- (англ. Generative adversarial network, сокращённо GAN) алгоритм машинного обучения без учителя, построенный на комбинации из двух нейронных сетей, одна из которых (сеть G) генерирует образцы, а другая (сеть D) старается отличить правильные («подлинные») образцы от неправильных.
- (РНС, англ. Recurrent neural network, RNN) — вид нейронных сетей, где связи между элементами образуют направленную последовательность. Благодаря этому появляется возможность обрабатывать серии событий во времени или последовательные пространственные цепочки.

ВВЕДЕНИЕ
Темой выпускной квалификационной работы является «Разработка алгоритма детектирования поддельного видео контента с использованием искусственных нейронных сетей».
В последние годы рост технологии DeepFake привел к всплеску создания и распространения поддельных видео. Эти видео могут использоваться для распространения ложной информации, манипулирования общественным мнением и даже подстрекательства к насилию. В результате обнаружение и борьба с поддельным видеоконтентом становится все более важной задачей как для исследователей, так и для политиков.
Существует ряд примеров, когда поддельные видео, созданные с помощью технологии DeepFake, вызвали серьезные проблемы. Например, в политической сфере они могут использоваться для создания видимости высказываний и действий политиков, которые они на самом деле не произносили или не совершали. Это может привести к распространению ложных утверждений и воздействию на общественное мнение.
Также поддельные видео могут быть использованы для создания компрометирующих материалов, которые затем могут быть использованы для шантажа или дискредитации отдельных лиц или организаций. Например, в 2019 году на одной из глобальных конференций по кибербезопасности демонстрировались поддельные видео, созданные с помощью технологии DeepFake, в которых известные политики были представлены в ситуациях, которые они на самом деле не совершали. В 2020 году американская политическая реклама использовала технологию DeepFake для создания видео, которые выглядели как настоящие выступления оппонентов с целью дискредитации их репутации.

Это создает серьезные проблемы в области конфиденциальности и безопасности. В 2021 году журнал Forbes опубликовал статью о росте использования технологии DeepFake в масштабах политической манипуляции и распространения дезинформации.
Одним из наиболее тревожных аспектов является возможность использования поддельных видео для подстрекательства к насилию. Они могут быть использованы для создания ситуаций, в которых люди могут стать объектами агрессии или попасть в опасные ситуации.
Все эти факторы приводят к тому, что обнаружение и борьба с поддельным видеоконтентом становятся все более важными задачами для исследователей, разработчиков технологий и политиков. Необходимо разрабатывать новые методы обнаружения DeepFake, улучшать алгоритмы распознавания поддельного контента и создавать соответствующие правовые и технические меры для борьбы с этой проблемой.
Одним из перспективных подходов к этой проблеме является использование нейронных сетей, которые продемонстрировали большой успех в различных задачах анализа изображения и видео. Обучив нейронную сеть на наборе данных как реальных, так и поддельных видео, возможно, можно будет разработать алгоритм, который может точно различать их.
Потенциальные преимущества разработки алгоритма для обнаружения поддельного видеоконтента значительны. Такой алгоритм поможет бороться с распространением дезинформации, а также может быть использован для повышения точности и авторитета данных на основе видео в различных юридических и судебных контекстах.
Так же, актуальность данной темы обусловлена ростом публикаций на такие темы, как: “DeepFake detection”, “DeepFake security” и т. д. Исследование журнала “Security Week” в 2019 году показало, что 72% пользователей до сих пор не имеют четкого представления о том, что такое DeepFake и как его определить.
Ниже приведена статистическая информация о росте публикаций на эти темы (рисунок 1).
Рисунок 1 – Количество публикаций на сайте Google Scholar Разработка алгоритма для обнаружения поддельного видеоконтента с
использованием нейронных сетей очень актуальна в современную цифровую эпоху. Раньше, отличить поддельные кадры от оригинала можно было отличить по различным признакам, таким как, неестественная интонация речи, роботизированный тон, неестественное моргание или движение человека, движения губ несинхронизированно с речью, низкое качество звука/видео, зубы (рисунок 2).
Рисунок 2 – Пример некачественного дипфейка
Но технологии совершенствуются. С ростом технологий DeepFake, становится все более сложно различать реальные и фальшивые видео (рисунок 3).
Рисунок 3 – Пример дипфейка более высокого качества
Алгоритм может помочь выявить поддельные видео и предотвратить их распространение, что может иметь значительные последствия в различных областях, включая политику, журналистику и др. Более того, это может предотвратить распространение дезинформации.
В этой работе мы рассмотрим разработку алгоритма для обнаружения поддельного видеоконтента с использованием нейронных сетей.
Цель нашей работы состоит в том, чтобы предоставить всесторонний обзор разработки алгоритма для распознавания поддельного видеоконтента с использованием нейронных сетей.
Объектом исследований в работе «Разработка алгоритма для обнаружения поддельного видеоконтента с использованием нейронных сетей» является применение машинного обучения для решения задач ИБ. Предметом исследования являются алгоритмы и методики распознавания применения технологии DeepFake.
Для достижения поставленной цели потребовалось решение следующих задач:
- проанализировать существующие подходы и алгоритмы;
- определить значимые параметры;
- описать алгоритм распознавания;
- определить дизайн и архитектуру нейронной сети;
- собрать датасет для обучения нейросети;
- подготовить и обучить прототип;
- реализовать и апробировать алгоритм;
- сравнить с уже существующими методами.
Данная работа состоит из 4 глав, посвящённых разным аспектам рассматриваемого вопроса, а именно: обзор методов и алгоритмов детектирования DeepFake, нейронные сети (их типы, обучение, сбор датасета), разработка предлагаемого алгоритма, оценка результатов, в т. ч. сравнение с аналогами.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ
1 Raghavendra, R., & Anami, B. S. (2021). DeepFake Video Detection Using Convolutional Neural Networks with Attention Mechanism. International Journal of Imaging Systems and Technology, 31(3) – P. 871 – 884.
2 The Growing Threat of Deepfake Videos [Электронный ресурс]
3 Мария Немцева Вооруженный глаз: как распознать DeepFake [Электронный ресурс]
4 Татьяна Корешкова Обзор технологий создания DeepFake и методов выявления [Электронный ресурс]
5 DeepFake в условиях современности: что, почему и возможно ли защититься [Электронный ресурс]
6 Свёрточная нейронная сеть. Как свёрточные нейронные сети имитируют работу мозга [Электронный ресурс]
7 Как защититься от дипфейков [Электронный ресурс]
8 Артефакты сжатия [Электронный ресурс]
9 Li, M., Deng, Y., & Li, X. (2021). DeepFake Video Detection Based on Hierarchical Attention Mechanism and Residual Networks. Multimedia Tools and Applications, 80(6) – P. 9395 – 9410.
10 Marra, F., Gragnaniello, D., & Verdoliva, L. A fast and effective CNN for video forgery detection // IEEE Transactions on Information Forensics and Security – 2018. – Vol. 13, No. 11. – P. 2849 – 2861.
11 Choi, G., Park, H. J., & Lee, S. Detecting face manipulation in videos using recurrent convolutional neural networks // Proceedings of the 2018 IEEE International Conference on Multimedia & Expo Workshops (ICMEW) – 2018. – P. 1-6.
12 Bayar, B., & Stamm, M. C. A deep learning approach to universal image manipulation detection using a new convolutional layer // Proceedings of the 4th ACM Workshop on Information Hiding and Multimedia Security – 2016. – P. 5-10.
13 Васильев Аян Петрович, Абрамов Алексей Хамитович Искусственный интеллект на основе нейронных сетей // Academy. 2018. №5 (32). [Электронный ресурс]
14 М.О. Калинина, П.Л. Николаев Детектирование книг на книжных полках при помощи глубоких нейронных сетей // КО. 2020. №6. [Электронный ресурс]
15 Черкасова Ирина Сергеевна классификация видео контента на основе сверточных нейронных сетей // E-Scio. 2021. №12 (63). [Электронный ресурс]
16 Безгачев Федор Владимирович применение нейросетей в искусственной генерации лиц // E-Scio. 2021. №11 (62). [Электронный ресурс] –
17 Дели Андрей Георгиевич классификация видео контента с помощью сверточных нейронных сетей // E-Scio. 2022. №5 (68). [Электронный ресурс]
18 VGG16 model [Электронный ресурс]
19 ResNet model [Электронный ресурс]
20 Курс машинного обучения [Электронный ресурс]
21 Подготовка датасета [Электронный ресурс]
22 Структура процесса обучения [Электронный ресурс]
23 GLAZE: Protecting Artists from Style Mimicry by Text-to-Image Models
25 Zero-Shot Text-to-Image Generation.
26 CNN-generated images are surprisingly easy to spot... for now.
27 Фаустова К.И. НЕЙРОННЫЕ СЕТИ: ПРИМЕНЕНИЕ СЕГОДНЯ И ПЕРСПЕКТИВЫ РАЗВИТИЯ // Территория науки. 2017. №4 (4). [Электронный ресурс]
29 Что такое глубокое обучение?
30 ResNet – революция глубокого обучения. Исчезающие и взрывающиеся градиенты