Глубокое обучение 2024

Введение в нейронные сети: мотивация, история, определения. Устройство искусственного нейрона, функции активации. Обратное распространение ошибки.

[2 лекции] Градиентный спуск, стохастический градиентный спуск, адаптивные варианты SGD. Дропаут, инициализация весов, нормализация по мини-батчам.

Свёрточные сети: идея, LeNet и экономия весов, AlexNet и аугментация данных, VGG, Inception.

Свёрточные сети: ResNet, bottleneck и split-transform-merge, EfficientNet. Распознавание объектов: постановка задачи, от R-CNN до Faster R-CNN.

Распознавание объектов: R-FCN, YOLO, YOLOv2 и иерархический softmax, пирамиды признаков, EfficientDet и YOLOv4. Сегментация изображений: постановка задачи, FCN, U-Net, instance segmentation и Mask R-CNN.

Состязательные примеры. Рекуррентные нейронные сети: идея, взрывающиеся и затухающие градиенты, LSTM, варианты LSTM и GRU, долгосрочная память в линейных RNN.

Механизмы внимания в глубоком обучении: рекуррентные модели зрительного внимания, encoder-decoder with attention. Self-attention и архитектура трансформера.

Ещё о трансформерах: словари токенов, позиционное кодирование, BERT и GPT, ERNIE. Трансформеры для изображений: VisualBERT, ViT, Swin Transformer. Мультимодальные трансформеры для поиска: CLIP и BLIP.

Порождающие модели в глубоком обучении: таксономия, авторегрессионные модели (каузальные маски, PixelCNN, WaveNet). Порождающие состязательные сети: идея, проблемы, ProGAN. Функции ошибки в GAN: LSGAN и Wasserstein GAN.

Вариационные автокодировщики: идея, вывод, reparametrization trick. Дискретные латентные пространства: VQ-VAE и VQ-GAN.

DALL-E: Gumbel-Softmax и dVAE, структура DALL-E. Контрастивное обучение, CLIP и BLIP. Поиск по видео: датасеты, методы до трансформеров, HERO, ClipBERT, CLIP4Clip, Tencent TVR.

Диффузионные модели: основная идея, вычисления, вариационные приближения, вывод функции ошибки. DDPM и DDIM.

Латентные диффузионные модели: Stable Diffusion, DiT. Модели, основанные на потоках: MAF и IAF, дистилляция в Parallel WaveNet. Идея flow matching.

[2 лекции] Большие языковые модели: scaling laws, компоненты прогресса LLM. Дообучение через RL: actor-critic алгоритмы, DPG, TRPO и PPO, как с их помощью делать RLHF. Адаптеры и LoRA. Instruction tuning: датасеты, синтетика, bootstrapping. Как расширить контекст трансформера. Линейные трансформеры: возвращение RNN, SSM и идея Mamba. Как добавить поиск: RAG.