Глубокое обучение 2025

Свёрточные сети: биологическая мотивация, основные идеи, LeNet и экономия весов, AlexNet и аугментация данных, интерпретация признаков.

Архитектурные идеи свёрточных сетей: VGG, Inception, остаточные связи, bottlenecks и split-transform-merge, EfficientNet. Состязательные примеры и состязательная аугментация.

Постановка задачи и сложности с её формализацией, семейство R-CNN, R-FCN, YOLO, YOLOv2

Проблема с масштабом в распознавании объектов. Пирамиды признаков: FPN, RetinaNet, EfficientDet. Введение в сегментацию. Semantic segmentation: от FCN до U-Net и его вариантов. Instance segmentation: DeepMask, Mask R-CNN

Состязательные примеры. Напоминание о рекуррентных сетях. Что такое внимание. Ранние механизмы внимания, рекуррентное внимание. Encoder-decoder with attention.

Трансформер как encoder-decoder архитектура. Слой самовнимания (self-attention) по идее информационного поиска; masked self-attention и encoder-decoder attention в декодере. Токенизация и byte-pair encoding. Позиционные вложения. Преимущества и недостатки трансформеров.