Основы байесовского вывода 2023
Это курс об основах байесовского вывода и вероятностных моделях в машинном обучении, представленный на Факультете математики и компьютерных наук Санкт-Петербургского государственного университета осенью 2024 года.
История AI и теорема Байеса
История AI и теорема Байеса
Введение. История AI. Что такое машинное обучение, какие задачи оно решает. Байесовский подход в машинном обучении, теорема Байеса и её интерпретация.
Байесовский вывод для монетки
Байесовский вывод для монетки
Сопряжённые априорные распределения, бета-распределение как сопряжённое для испытаний Бернулли. Байесовский вывод в жизни.
Линейная регрессия I
Линейная регрессия I
Линейная регрессия: метод наименьших квадратов, нелинейные признаки для линейной регрессии, оверфиттинг.
Линейная регрессия II
Линейная регрессия II
[2 лекции] Регуляризация в линейной регрессии. Байесовский вывод: сопряжённое априорное распределение и предсказательное распределение для линейной регрессии. Введение в классификацию: постановка задачи, геометрические методы, дискриминант Фишера.
Классификация: LDA/QDA и логистическая регрессия
Классификация: LDA/QDA и логистическая регрессия
[2 лекции] Модельные методы классификации: LDA и QDA. Логистическая регрессия: мотивация, IRLS, случай нескольких классов, предсказательное распределение через лапласовские аппроксимации.
Проклятие размерности и разложение bias-variance-noise
Проклятие размерности и разложение bias-variance-noise
[2 лекции] Проклятие размерности. Статистическая теория принятия решений: bias-variance-noise decomposition. Байесовский вывод для гауссиана.
Оценки p(D): эмпирический Байес и выбор моделей
Оценки p(D): эмпирический Байес и выбор моделей
[2 лекции] Оценки p(D): эмпирический Байес. Байесовский выбор моделей: идея, KL-дивергенция, байесовский информационный критерий.
TIC и AIC, экспоненциальное семейство I
TIC и AIC, экспоненциальное семейство I
[2 лекции] Информационные критерии TIC и AIC. Введение в экспоненциальное семейство.
Экспоненциальное семейство II, обобщённые линейные модели
Экспоненциальное семейство II, обобщённые линейные модели
[2 лекции] Экспоненциальное семейство: моменты достаточных статистик, байесовский вывод, предсказательное распределение. Обобщённые линейные модели: общий вывод, пуассоновская регрессия.