Практическая работа на тему "Практикум | Инструменты бизнес-аналитики и анализ больших данных, 3 семестр - Синергия [ID 65703]"

Практикум по предмету: Инструменты бизнес-аналитики и анализ больших данных, 3 семестр
Работа выполнена на хорошо.
Вам останется только внести свои ФИО и номер группы, роспись.
Если вы хотите уникальную работу (под себя), можете дать мне индивидуальный заказ в моём профиле.

Описание работы

Лабораторная работа №1. Анализ данных в ClickHouse
Цель работы: Приобрести практические навыки работы с аналитической СУБД
ClickHouse, научиться выполнять запросы SQL для анализа больших данных и
строить визуальные отчеты на основе полученных результатов.

1. Подготовка рабочей среды (WSL + ClickHouse)
2. Задания по работе с ClickHouse
3. Аналитические запросы
4. Визуализация (опционально)
5. Проверка результатов
6. Контрольные вопросы

Лабораторная работа №2. Продвинутая работа с данными в ClickHouse
Цель: Освоить расширенные возможности SQL в ClickHouse для анализа данных разных
типов и предметных областей. Научиться формулировать аналитические запросы,
группировать, фильтровать и агрегировать данные, выявлять закономерности и тренды.
Часть 1. Анализ меню блюд (food.dish)
Часть 2. Анализ отзывов Amazon (amazon.amazon_reviews)
Часть 3. Анализ данных YouTube (youtube.youtube)
Часть 4. Анализ биржевых данных (stock.stock)
Часть 5. Анализ веб-метрик (metrica.hits)
Часть 6. JOIN-операции
Итоговые аналитические задания
Отчёт по работе

Лабораторная работа №3. ClickHouse + Grafana в WSL
1. Установка и настройка окружения
2. Создание базы данных и таблиц
3. Анализ данных в ClickHouse
4. Создание таблиц для JOIN
5. Запросы с JOIN
6. Визуализация в Grafana
7. Аналитические выводы

РЕФЕРАТ на тему СОВРЕМЕННЫЕ СУБД ДЛЯ БОЛЬШИХ ДАННЫХ: ОБЗОР APACHE HADOOP И APACHE CASSANDRA.

Содержание
Введение 3
Глава 1. Теоретические основы систем управления большими данными (Big Data) 5
Глава 2. Apache Hadoop как экосистема для пакетной обработки больших данных 7
Глава 3. Apache Cassandra как распределенная NoSQL СУБД для работы с оперативными данными 10
Заключение 13
Список литературы 15

Введение
В эпоху цифровой трансформации объемы генерируемой информации растут экспоненциально, формируя феномен «Больших данных» (Big Data). Традиционные реляционные системы управления базами данных (СУБД), основанные на принципах ACID и вертикальном масштабировании, зачастую оказываются неспособны эффективно справляться с новыми вызовами: обработкой неструктурированных и слабоструктурированных данных, обеспечением высокой пропускной способности при операциях записи, горизонтальным масштабированием на сотни и тысячи узлов, а также отказоустойчивостью в распределенных средах. Это привело к возникновению нового класса систем — NoSQL и NewSQL СУБД, архитектура которых изначально проектировалась для работы в распределенных кластерах и решения специфических задач в экосистеме Big Data.
Среди множества современных решений два проекта фонда Apache Software Foundation заслуживают особого внимания как фундаментальные и широко распространенные технологии, представляющие разные, но взаимодополняющие парадигмы обработки данных. Apache Hadoop стал краеугольным камнем для пакетной (batch) обработки и хранения огромных массивов данных, предложив надежную, масштабируемую и экономичную файловую систему (HDFS) и модель программирования MapReduce. В свою очередь, Apache Cassandra утвердилась как одна из ведущих распределенных баз данных для работы с оперативными (online) данными в реальном времени, обеспечивая высокую доступность, беспрецедентную масштабируемость на запись и низкую задержку при запросах.
Целью данного реферата является комплексный обзор и сравнительный анализ архитектурных принципов, моделей данных, сфер применения, а также преимуществ и ограничений Apache Hadoop и Apache Cassandra. В работе будут последовательно рассмотрены ключевые компоненты экосистемы Hadoop (HDFS, YARN, MapReduce) и архитектурные основы Cassandra (кольцо узлов, согласованная хешификация, настраиваемая согласованность). Особое внимание будет уделено тому, как эти системы решают фундаментальные проблемы распределенных систем — отказоустойчивость, масштабируемость и согласованность данных, — и в каких практических сценариях (хранение логов, машинное обучение, IoT-платформы, веб-приложения) их использование является наиболее оправданным. Проведенный анализ позволит не только понять внутреннее устройство этих технологий, но и сформировать критерии для выбора подходящей СУБД в зависимости от конкретных требований проекта в области больших данных.
 
Список литературы
1. Виниченко, В. А. Цифровая экономика : учебное пособие / В. А. Виниченко. — Новосибирск : Новосибирский государственный технический университет, 2024. — 96 c. — ISBN 978-5-7782-5220-2. — Текст : электронный // Цифровой образовательный ресурс IPR SMART : [сайт].
2. Михеев А. Г. Системы управления бизнес-процессами и административными регламентами на примере свободной программы RunaWFE. Второе издание – М.: ДМК Пресс, 2016. – 336 с.: ил. ISBN 978-5-97060-189-1
3. Мамедли, Р. Э. Системы управления базами данных : учебное пособие / Р. Э. Мамедли. — Нижневартовск : Нижневартовский государственный университет, 2021. — 213 c. — ISBN 978-5-00047-585-0. — Текст : электронный // Цифровой образовательный ресурс IPR SMART : [сайт].
4. Сазонов, С. Н. Системы искусственного интеллекта : учебное пособие / С. Н. Сазонов. — Ульяновск : Ульяновский государственный технический университет, 2023. — 84 c. — ISBN 978-5-9795-2352-1. — Текст : электронный // Цифровой образовательный ресурс IPR SMART : [сайт].
5. Цифровая экономика : учебник для вузов / Л. А. Каргина, С. Л. Лебедева, О. Е. Михненко [и др.] ; под редакцией Л. А. Каргиной. — 2-е изд. — Москва : Прометей, 2024. — 380 c. — ISBN 978-5-00172-653-1. — Текст : электронный // Цифровой образовательный ресурс IPR SMART : [сайт].
6. Ясницкий, Л. Н. Интеллектуальные системы : учебник / Л. Н. Ясницкий. — 3-е изд. — Москва : Лаборатория знаний, 2024. — 222 c. — ISBN 978-5-93208-714-5. — Текст : электронный // Цифровой образовательный ресурс IPR SMART : [сайт].