Графические вероятностные модели 2024

[2 лекции] Деревья принятия решений. Методы объединения моделей. Бустинг: AdaBoost, градиентный бустинг, XGBoost.

[2 лекции] Обучение ранжированию: метрики, RankNet, LambdaRank, MART, LambdaMART. Геометрическая интуиция SVM.

[2 лекции] Метод опорных векторов: задачи оптимизации, их эквивалентность, идея ядер. Эквивалентное ядро в линейной регрессии и ядерные методы. Метод релевантных векторов: идея, вывод, алгоритмы.

[2 лекции] Кластеризация. EM-алгоритм для кластеризации, идея, вывод в общем виде. Примеры применений и расширения EM. Модели Брэдли-Терри

[2 лекции] Примеры применения EM-алгоритма: presence-only data, байесовские рейтинг-системы, скрытые марковские модели.

[2 лекции] Графические вероятностные модели. Алгоритм передачи сообщений.

[2 лекции] Сэмплирование в машинном обучении: выборка с отклонением, выборка с весами значимости, алгоритм Метрополиса-Гастингса, сэмплирование по Гиббсу.

[2 лекции] Развёрнутый пример: SIR-модели в эпидемиологии. Идея вариационных приближений.

[2 лекции] Вариационные приближения: идея, вывод, простые примеры, вариационное приближение для смеси гауссианов. От наивного Байеса к тематическим моделям.

[2 лекции] Тематическое моделирование: pLSI, ARTM, суть модели LDA. Вариационный вывод в LDA.

[2 лекции] Сэмплирование по Гиббсу в LDA. Expectation Propagation и модель TrueSkill.

[2 лекции] Введение в обучение с подкреплением. Многорукие бандиты. Марковские процессы принятия решений: уравнения Беллмана.

[2 лекции] Обучение с подкреплением: методы Монте-Карло, TD-обучение.

[2 лекции] Обучение с подкреплением II: TD-обучение, градиент по стратегиям, планирование, rollouts и MCTS.

[2 лекции] Case study: компьютерное го, AlphaGo, AlphaZero, MuZero. Порождающие и дискриминирующие модели: наивный Байес и логистическая регрессия, HMM и CRF.