Дипломная работа на тему "ТЮМГУ | Разработка системы дообучения моделей машинного обучения в задачах обработки потоковых данных на примере показателей датчиков температур"

Работа на тему: Разработка системы дообучения моделей машинного обучения в задачах обработки потоковых данных на примере показателей датчиков температур
Оценка: хорошо.
Оригинальность работы на момент публикации 50+% на антиплагиат.ру.
Ниже прилагаю все данные для покупки.
https://studentu24.ru/list/suppliers/Anastasiya1---1326

Описание работы

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное учреждение высшего образования
«ТЮМЕНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ»
ИНСТИТУТ МАТЕМАТИКИ И КОМПЬЮТЕРНЫХ НАУК
Кафедра программного обеспечения
РЕКОМЕНДОВАНО К ЗАЩИТЕ В ГЭК

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА
бакалаврская работа
РАЗРАБОТКА СИСТЕМЫ ДООБУЧЕНИЯ МОДЕЛЕЙ МАШИННОГО
ОБУЧЕНИЯ В ЗАДАЧАХ ОБРАБОТКИ ПОТОКОВЫХ ДАННЫХ НА ПРИМЕРЕ ПОКАЗАТЕЛЕЙ ДАТЧИКОВ ТЕМПЕРАТУР

02.03.03 Математическое обеспечение и администрирование информационных систем
Профиль «Технологии программирования и анализа больших данных»

Тюмень 2023

СОДЕРЖАНИЕ
ВВЕДЕНИЕ 4
ГЛАВА 1. ТЕОРЕТИЧЕСКИЙ АНАЛИЗ 6
1.1. ОПИСАНИЕ ПРЕДМЕТНОЙ ОБЛАСТИ 6
1.1.1. ПОНЯТИЕ ПОТОКОВЫХ ДАННЫХ 6
1.1.2. МЕТОДЫ ОБНАРУЖЕНИЯ СДВИГА ДАННЫХ 6
1.1.3. МЕТОДЫ ОБУЧЕНИЯ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ 11
1.1.4. МЕТОДЫ ОЦЕНКИ КАЧЕСТВА МОДЕЛИ 14
1.1.5. МЕТОД АГРЕГИРОВАНИЯ ДАННЫХ ВРЕМЕННОГО РЯДА 15
1.2. ПОСТАНОВКА ЗАДАЧИ ПОИСКА ПАРАМЕТРОВ ПРОЦЕССА ДООБУЧЕНИЯ МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ 16
1.2.1. СОДЕРЖАТЕЛЬНАЯ ПОСТАНОВКА ЗАДАЧИ 16
1.2.2. КОНЦЕПТУАЛЬНАЯ ПОСТАНОВКА ЗАДАЧИ 16
1.2.3. МАТЕМАТИЧЕСКАЯ ПОСТАНОВКА ЗАДАЧИ 18
1.3. РЕШЕНИЕ ЗАДАЧИ ПОИСКА ПАРАМЕТРОВ ПРОЦЕССА ДООБУЧЕНИЯ МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ 18
1.4. СУЩЕСТВУЮЩИЕ РЕШЕНИЯ 20
1.5. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ТЕХНОЛОГИЙ 24
1.5.1. СРАВНЕНИЕ ЯЗЫКОВ ПРОГРАММИРОВАНИЯ 24
1.5.2. СРАВНЕНИЕ ФРЕЙМВОРКОВ ДЛЯ ОБРАБОТКИ ЗАПРОСОВ 26
ВЫВОДЫ К ГЛАВЕ 1 27
ГЛАВА 2. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ 28
2.1. ИНТЕРПРЕТАЦИЯ ДАННЫХ 28
2.1.1. ИСТОЧНИКИ ДАННЫХ 28
2.1.2. ОПИСАНИЕ РАССМАТРИВАЕМЫХ ДАННЫХ 28
2.1.3. ПРЕДВАРИТЕЛЬНАЯ ОБРАБОТКА ДАННЫХ 29
2.1.4. ПЕРВИЧНЫЙ АНАЛИЗ ДАННЫХ 30
2.2. ОПИСАНИЕ ИСПОЛЬЗУЕМОЙ МОДЕЛИ 31
2.3. ОПРЕДЕЛЕНИЕ ОПТИМАЛЬНОГО РАЗМЕРА ОКНА ПОТОКА ДАННЫХ 32
2.4. ИСПОЛЬЗУЕМЫЕ ТЕХНОЛОГИИ 34
2.5. ОПИСАНИЕ СЕРВЕРНОЙ ЧАСТИ СИСТЕМЫ 37
2.5.1. АРХИТЕКТУРА СЕРВЕРНОЙ ЧАСТИ СИСТЕМЫ 37
2.5.2. МОДУЛЬ ОБРАБОТКИ ВЕБ-ЗАПРОСОВ 38
2.5.3. МОДУЛЬ РАБОТЫ С ДАННЫМИ 39
2.5.4. МОДУЛЬ ОБУЧЕНИЯ 41
2.5.5. МОДУЛЬ ВИЗУАЛИЗАЦИИ 44
2.6. ОПИСАНИЕ КЛИЕНТСКОЙ ЧАСТИ СИСТЕМЫ 44
ВЫВОДЫ К ГЛАВЕ 2 48
ГЛАВА 3. ВЫЧИСЛИТЕЛЬНЫЕ ЭКСПЕРИМЕНТЫ 50
3.1. ИССЛЕДОВАНИЕ МЕТОДОВ ДООБУЧЕНИЯ 50
3.2. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ ДООБУЧЕНИЯ 56
3.3. СРАВНИТЕЛЬНЫЙ АНАЛИЗ ПРЕДВАРИТЕЛЬНО ОБУЧЕННОЙ И ДООБУЧЕННОЙ МОДЕЛЕЙ 59
ЗАКЛЮЧЕНИЕ 61
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 63
ПРИЛОЖЕНИЕ 1. ФУНКЦИЯ ФОНОВОЙ РАБОТЫ ПРОЦЕССА ДООБУЧЕНИЯ МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ 65
ПРИЛОЖЕНИЕ 2. ФУНКЦИИ ПРЕДВАРИТЕЛЬНОЙ ОБРАБОТКИ ДАННЫХ 67
ПРИЛОЖЕНИЕ 3. КЛАСС ГЕНЕРАЦИИ И ОБУЧЕНИЯ МОДЕЛИ МАШИННОГО ОБУЧЕНИЯ 68

ВВЕДЕНИЕ
В настоящее время наблюдается резкий рост объема потоковых данных, которые генерируются в различных сферах, таких как интернет-технологии, медицина, финансы, транспорт и другие. Обработка и анализ таких данных становятся все более сложными и требуют эффективных алгоритмов машинного обучения.
Однако, существующие модели машинного обучения могут не соответствовать требованиям реального мира, так как данные постоянно меняются и новые данные могут не совпадать с данными, используемыми для обучения модели. В результате качество работы модели может ухудшаться со временем, что приводит к необходимости её постоянной переподготовки.
Проблема, которая решается в рамках проекта, заключается в снижении точности работы моделей машинного обучения при сдвиге поступающих данных.
Целью данной работы является разработка веб-сервиса, предназначенного для дообучения моделей машинного обучения на потоковых данных с автоматической адаптацией моделей к изменяющимся данным.
Для достижения поставленной цели в проекте необходимо решить следующие задачи:
1. Изучить особенности дообучения моделей машинного обучения на изменяющихся потоковых данных:
1.1. Найти потоковые данные для обучения модели;
1.2. Рассмотреть имеющиеся аналоги;
1.3. Изучить методы обнаружения сдвига данных;
1.4. Изучить методы дообучения и переобучения модели;
1.5. Изучить методы адаптации модели к изменяющимся данным;
1.6. Разработать метод автоматической адаптации модели к изменяющимся данным;
1.7. Провести сравнительный анализ технологий и выбрать подходящие;
1.8. Описать архитектуру системы.
2. Разработать веб-сервис по дообучению моделей машинного обучения с автоматической адаптацией к изменениям в данных:
2.1. Разработать модуль работы с данными:
2.1.1. Чтение потоковых данных;
2.1.2. Предварительная обработка потоковых данных;
2.1.3. Обнаружение сдвига данных.
2.2. Разработать модуль обучения моделей:
2.2.1. Импорт модели в систему;
2.2.2. Обучение модели на потоковых данных;
2.2.3. Автоматическое определение подхода обучения при сдвиге данных;
2.2.4. Выбрать метрики для оценки качества работы модели;
2.3. Разработать веб-сервис для работы с созданной системой:
2.3.1. Реализовать серверную часть:
2.3.1.1. Интеграция разработанных модулей;
2.3.1.2. Обработка запросов клиента.
2.3.2. Реализовать интерфейс пользователя.

Для успешной подготовки и защиты выпускной квалификационной работы использовались средства и методы физической культуры и спорта с целью поддержания должного уровня физической подготовленности, обеспечивающие высокую умственную и физическую работоспособность. В режим рабочего дня включались различные формы организации занятий физической культурой (физкультпаузы, физкультминутки, занятия избранным видом спорта) с целью профилактики утомления, появления хронических заболеваний и нормализации деятельности различных систем организма.
В рамках подготовки к защите выпускной квалификационной работы автором созданы и поддерживались безопасные условия жизнедеятельности, учитывающие возможность возникновении чрезвычайных ситуаций.

БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1) Bifet A., Gavalda R. Learning from time-changing data with adaptive windowing // Proceedings of the 2007 SIAM international conference on data mining. 2007. P. 443-448.
2) Chart.js: Simple yet flexible JavaScript charting library for the modern web [сайт].
3) Cheboli D. Anomaly Detection of Time Series // Master’s Thesis, Degree Programme in Computer Science. The University of Minnesota. 2010. P. 1–75.
4) Early drift detection method / Baena-Garc?a M., Campo-Avila J., Fidalgo R. [и др.] // Fourth international workshop on knowledge discovery from data streams. 2006. P. 77–86.
5) Flask: A framework for creating web applications [сайт].
6) Gama J., Medas P., Castillo G., Rodrigues P. Learning with drift detection. // In Proc. of the 2004 17th Brazilian Symposium on Artificial Intelligence (SBIA). 2004. P. 286–295.
7) Online learning: A comprehensive survey. / S. Hoi, D. Sahoo, J. Lu, P. Zhao // arXiv. Computer Science. Machine Learning: [сайт]. 2021.
8) Oztel I., Yolcu G., Oz C. Performance comparison of transfer learning and training from scratch approaches for deep facial expression recognition. // In Proc. of the 2019 fourth International Conference on Computer Science and Engineering (UBMK). 2019. P. 1-6.
9) Time Series Anomaly Detection Using Convolutional Neural Networks and Transfer Learning. / T. Wen, R. Keyes // arXiv. Computer Science. Machine Learning: [сайт]. 2019.
10) Мурашкина Е.А., Таут П.В. Система компьютерного моделирования динамики изменения температуры воздуха в помещениях учебно- лабораторного корпуса под влиянием теплового режима: специальность
02.04.03 Математическое обеспечение и администрирование информационных систем: дис. маг. Тюмень, 2022. 103 с.
11) Намиот Д.Е., Ильюшин Е.А. Мониторинг сдвига данных в моделях машинного обучения // International Journal of Open Information Technologies. 2022. Т. 10, №. 12. С. 84–93.
12) Рамазанов А.Р., Захарова И.Г. Модели и алгоритмы системы мониторинга температуры воздуха в помещениях для управления теплоснабжением здания. Тюмень, 2022. 26 с.
13) Стариков А.Е., Намиот Д.Е. Система выполнения моделей машинного обучения на потоке событий // International Journal of Open Information Technologies. 2020. Т. 8, №. 7. С. 57-75.