Преподаватели:
Михаил Криницкий (RG link, github)
Обратите внимание на правила распространения источников и литературы
Здесь доступна подборка книг издательства Springer, доступных для свободной загрузки, по компьютерным наукам, компьютерному зрению, машинному обучению и науке о данных. Здесь - полный список книг издательства Springer, выложенных в открытый доступ для свободной загрузки.
| Title | Date | Topic | Content |
|---|---|---|---|
| Лекция 1 | 04.03.2021 | Вводная лекция. От линейных моделей к нейронным сетям. Часть 1 |
материалы; видеозапись |
| Семинар 1 | 10.03.2021 | Обсуждение ДЗ №1 и его особенностей. | видеозапись |
| Лекция 2 | 11.03.2021 | От линейных моделей к нейронным сетям. Часть 2 | материалы; видеозапись |
| Семинар 2 | 15.03.2021 | Вывод байесовской регрессии. Инструменты разработки и исполнения кода: Google colab. |
видеозапись |
| Лекция 3 | 18.03.2021 | Оптимизация нейросетей. Вычисление градиентов (backpropagation). |
материалы; видеозапись |
| Семинар 3 | 22.03.2021 | Типичные ошибки в ДЗ №1. Разбор ДЗ №2 и его особенностей |
материалы; Видеозапись |
| Лекция 4 | 25.03.2021 | Оптимизация нейросетей. Методы оптимизации: GD, SGD, Momentum, Nesterov momentum, RMSProp, Adam, Nadam. |
материалы; видеозапись |
| Семинар 4 | 29.03.2021 | Дифференцирование Softmax, стабилизация вычисления Softmax, практика. | материалы видеозапись |
| Лекция 5 | 01.04.2021 | Оптимизация нейросетей. Инициализация. Пакетная нормализация (BatchNorm). |
видеозапись |
| Семинар 5 | 05.04.2021 | Дисперсия градиентов. Разбор ДЗ №3 и его особенностей. Средства мониторинга процесса оптимизации нейросетей. Tensorboard. |
материалы видеозапись |
| Лекция 6 | 08.04.2021 | Функции активации и прореживание сети (Dropout). Свёрточные нейронные сети. |
материалы; видеозапись |
| Семинар 6 | 12.04.2021 | Практика. Операция свёртки своими руками. | материалы; видеозапись |
| Лекция 7 | 15.04.2021 | Свёрточные нейронные сети: модификации операции свёртки и обзор архитектур. | материалы; видеозапись |
| Семинар 7 | 19.04.2021 | Градиент сверточной операции; анонс kaggle-соревнования; Технические аспекты подхода Transfer Learning |
материалы; видеозапись |
| Лекция 8 | 24.04.2021 | Свёрточные нейронные сети визуализация признаков и интерпретация вывода. |
видеозапись |
| Семинар 8 | 26.04.2021 | Искусственное дополнение данных (аугментация, data augmentation) Организация поставки данных для обучения и валидации. Ускорение предобработки и поставки данных. |
материалы; видеозапись |
| Лекция 9 | 29.04.2021 | Снижение размерности и автокодировщики | материалы; видеозапись |
| Семинар 9 | 05.05.2021 | Свёрточный автокодировщик в коде. ДЗ №6. Adversarial examples на Pytorch. | видеозапись |
| Лекция 10 | 06.05.2021 | Автокодировщики: разреженный, вариационный; Задача сегментации. U-net. |
материалы; видеозапись |
| Лекция 11 | 13.05.2021 | Задача выучивания метрики (Metric learning) | материалы; видеозапись |
| Семинар 10 | 17.05.2021 | KL-дивергенция: связь с перекрестной энтропией и информационной энтропией Вывод регуляризации для VAE; VAE в коде; обсуждение потенциальных тем проектов |
материалы; видеозапись |
| Лекция 12 | 20.05.2021 | Порождающие состязательные сети (Generative Adversarial Networks, GAN); Wasserstein GAN. | материалы; видеозапись |
| Семинар 11 | 24.05.2021 | Презентация ДЗ №7 и предлагаемых способов его решения; Скетч кода обучения WGAN. |
материалы; видеозапись |
| Лекция 13 | 27.05.2021 | GAN-ы: задачи Image2Image translation; CycleGAN и его особенности; MUNIT и идея разделения векторов на style и content; StyleGAN и его основные идеи. |
материалы; видеозапись |
| Семинар 12 | 31.05.2021 | О двойственности Канторовича-Рубинштейна | видеозапись |
| Лекция 14 | 03.06.2021 | Проблема игнорирования шума генератором. StyleGAN: AdaIN, Crossing-over и другие идеи в его основе. |
материалы видеозапись |
| Семинар 13 | 07.06.2021 | Обсуждение проектов | видеозапись |
| Лекция 15 | 10.06.2021 | Обработка последовательностей. Рекуррентные нейронные сети. |
материалы видеозапись |
| Лекция 16 | 21.06.2021 | Обработка последовательностей: LSTM Механизм внимания (attention), позиционное кодирование. Трансформер. |
видеозапись |
| Лекция 17 | 24.06.2021 | Архитектура Трансформер и ее применения. Visual Transformer (ViT). DINO. |
видеозапись Демонстрация AWS |
| Title | Date issued | Deadline | Topic | Content |
|---|---|---|---|---|
| ДЗ №1 | 10.03.2021 | 15.03.2021 | Градиентный спуск своими руками | описание и данные |
| ДЗ №2 | 22.03.2021 | 05.04.2021 | Многослойный перцептрон своими руками | описание |
| ДЗ №3 | 05.04.2021 | 15.04.2021 | Многослойный перцептрон на Pytorch. | описание |
| ДЗ №4 | 08.04.2021 | 15.04.2021 | Обзор статьи по глубокому обучению. | описание |
| ДЗ №5 | 19.04.2021 | 06.05.2021 (updated) 17.05.2021 |
Kaggle-соревнование | описание leaderboard |
| ДЗ №6 | 05.05.2021 | 13.05.2021 | Автокодировщики для идентификации аномалий | описание |
| ДЗ №7 | 24.05.2021 | 14.06.2021 | Идентификация аномалий с использованием WGAN | описание |
| Проекты | 28.06.2021 | summary; Обсуждение тем - 1; Обсуждение тем - 2 |
(следите за обновлениями!)
- Николенко С. И., Кадурин А. А., Архангельская Е. О. "Глубокое обучение." / СПб.: Питер. 2019. 480 с. publisher link
- Гудфеллоу Я., Бенджио И., Курвилль А. "Глубокое обучение." / М.: ДМК Пресс, 2017. 652 c. publisher link
- Интерактивная онлайн-книга Aston Zhang, Zack C. Lipton, Mu Li, Alex J. Smola "Dive into Deep Learning"
Дополнительные источники
-
Флах П. "Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных." / Флах П. М.: ДМК Пресс, 2015. 400 c. publisher link
-
Шай Шалев-Шварц, Шай Бен-Давид "Идеи машинного обучения." / - М.: ДМК Пресс, 2018. 432 c.
-
Hastie T., Tibshirani R., Friedman J. "The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Second Edition" / T. Hastie, R. Tibshirani, J. Friedman, 2-е изд., New York: Springer-Verlag, 2009.
Перевод на русский язык: (Фридман Дж., Хасти Т., Тибширани Р. "Основы статистического обучения")
-
Bishop C. "Pattern Recognition and Machine Learning" / C. Bishop, New York: Springer-Verlag, 2006. Доступна для легального скачивания.
Перевод на русский язык: Бишоп К.М. "Распознавание образов и машинное обучение"
-
Matrix cookbook - справочник по соотношениям в матричной форме
-
Курс лекций К.В. Воронцова:
-
Курс лекций Л.М. Местецкого "Математические методы распознавания образов"
-
Препринт книги Cosma Rohilla Shalizi "Advanced Data Analysis from an Elementary Point of View". Доступен онлайн.
-
James G., Witten D., Hastie T., Tibshirani R., 2013. "An Introduction to Statistical Learning: with Applications in R", Springer Texts in Statistics. Springer-Verlag, New York. Книга доступна для скачивания.