Онлайн тесты на тему "Готовый тест с ответами "Основы нейронных сетей". МФПУ "Синергия", МОИ"

1. Идея Momentum состоит в:
Вычислении градиента в точке, к которой алгоритм должен сойтись на текущем шаге, согласно посчитанному моментному члену, а не в той точке, откуда алгоритм производит шаг
Использовании идеи физической инерции посредством добавления моментных членов, "скоростей"
приближенном, а значит - более быстром ("моментальном") вычислении градиентов в текущей
2. При прямом проходе через Feed Forward Neural Network:
Происходит обновление весов модели на основе градиентов, посчитанных на предыдущей итерации
Происходит выстраивание архитектуры модели посредством подбора числа слоев и их размеров
Сигнал передается посредством последовательного матричного умножения и применения нелинейных функций активации
3. Отметьте верные высказывания о функциях активации:
Функция активации сигмоида лежит в диапазоне [0,1] и может быть интерпретирована как вероятность, а потому часто используется для решения задач бинарной классификации. Функция ReLU - кусочно-линейная
Функция Leacky ReLU - всюду дифференцируема. Популярная функция активации гиперболический тангенс может быть использована, как решающая функция для задачи регрессии. Производная сигмоидальной функции не выражается аналитически через значение самой функции в данной точке
Все функции активации взаимозаменяемы вследствие того, что имеют одну и ту же область значений и область определения
4. Метод подбора адаптированного learning rate на основе оценки исторических градиентов:
Nesterov Momentum
RMSProp
Adagrad
5. Нейронные сети, наиболее часто применяющиеся в CV – это
Полносвязные
Сверточные
Рекуррентные
6. Задачу машинного обучения можно представить в виде последовательности выполнения действий по выбору оптимальной решающей функции f из многопараметрического семейства F. Задача обучения сводится к задаче оптимизации на этапе:
Выбора семейства F
Оценки качества выбранной функции f из семейства F
Поиска наилучшей функции из семейства F
7. Обучение нейронной сети – это применение алгоритма оптимизации для решения задачи
Минимизации средней нормы градиента эмпирического риска по весам модели
Минимизации эмпирического риска
Минимизации средней нормы матриц весов модели
8. Алгоритм Backpropagation:
Состоит в случайном подборе весов модели до тех пор, пока не будет достигнут оптимальный набор параметров, минимизирующий ошибку
Используется только для оптимизации полносвязных нейросетей
Последовательном вычислении градиентов по весам модели, начиная с последнего слоя, по предактивациям соответствующего слоя и градиентам по весам следующего
9. Обучение с учителем характеризуется
Целью обучить агента принимать оптимальные решения в среде
Отсутствием размеченной выборки
Наличием размеченной выборки
10. Архитектура полносвязной нейронные сети основана на идее
обобщения низкоуровневых признаков и генерирования на их основе более высокоуровневых
Построения разделяющей гиперплоскости
Минимизации лосс-функции без использования градиентных методов
11. Производная сигмоиды выражается через саму сигмоиду аналитически, как
sigm’ = sigm(1 - sigm)
sigm’ = 5sigm^(5)
sigm’ = 100sigm/sin(sigm)
12. Лучший способ борьбы с переобучением:
Изменение архитектуры модели
Регуляризации
Увеличение количества данных
13. Наиболее популярный на текущий момент метод оптимизации, основанный на идее использования двух моментных членов, предложенный в 2015 году:
ADAM
Adagrad
Adadelta
14. Задача классификации – это задача
Обучения с учителем
Обучения без учителя
Обучения с подкреплением
15. Функции активации в нейронных сетях:
Нелинейны (глобально) и вносят неоднородность в сигнал при прямом проходе
Линейны и нужны для проверки работоспособности модели
Активируют нейросеть в разных режимах работы
16. Градиентные методы оптимизации
Представляют собой итерационные алгоритмы
Аналитически ищут решение задачи оптимизации
Вопреки названию, не используют градиенты
17. Нейронные сети бывают следующих видов:
Полносвязные и рекуррентные
Рекуррентные, сверточные и трансформеры
Рекуррентные, сверточные, полносвязные и трансформеры
18. Все описанные в лекции алгоритмы обладают общим свойством. Каким?
Для всех требуется вычисление матрицы Гессе оптимизируемой функции
Для всех требуется вычисление градиентов оптимизированной функции
Для всех требуется подсчет значения оптимизируемой функции в данной точке
19. Начальная инициализация весов нейросети:
Должна быть константной для того, чтобы результаты обучения нейросети на одной и той же трейнинговой выборке были воспроизводимыми
Должна быть случайной для того, чтобы модель могла обучиться, не зануляя градиенты на определенном шаге, причем такой, что дисперсия сигнала не будет изменяться при проходе через слои нейросети.
Может быть любой
20. Переобучение – это эффект, возникающий при
Излишней сложности модели по отношению к сложности обучающей выборки, из-за чего происходит “заучивание” данных
Слишком долгом обучении модели, из-за чего она теряет свою предсказательную способность вследствие увеличения энтропии весов
Усталости специалиста по машинному обучению от того, что его модели слишком долго учатся
21. Условия Каруша-Куна-Таккера применимы для решения:
Любой задачи оптимизации
Задачи выпуклой оптимизации
Задачи оптимизации произвольной функции на выпуклом множестве Q
22. Функции активации в нейронных сетях:
Нелинейны (глобально) и вносят неоднородность в сигнал при прямом проходе
Линейны и нужны для проверки работоспособности модели
Активируют нейросеть в разных режимах работы