Основы байесовского вывода 2025
Это курс об основах байесовского вывода и вероятностных моделях в машинном обучении, представленный на Факультете математики и компьютерных наук Санкт-Петербургского государственного университета осенью 2025 года.
Введение в ML и байесовский вывод
4 сентября 2025 г.
Введение в ML и байесовский вывод
4 сентября 2025 г.
Введение. История AI. Что такое машинное обучение, какие задачи оно решает. Байесовский подход в машинном обучении, теорема Байеса и её интерпретация.
Байесовский вывод для монетки, сопряжённые априорные распределения
11 сентября 2025 г.
Байесовский вывод для монетки, сопряжённые априорные распределения
11 сентября 2025 г.
Основные задачи байесовского вывода. Решения этих задач для монетки (испытаний Бернулли). Сопряжённые априорные распределения, бета-распределение как сопряжённое для монетки. Априорные распределения и разреженность, кубик вместо монетки. Житейские примеры теоремы Байеса.
Линейная регрессия
18 сентября 2025 г.
Линейная регрессия
18 сентября 2025 г.
Метод наименьших квадратов, вероятностные предположения линейной регрессии, выделение признаков, оверфиттинг и регуляризация
Байесовский вывод в линейной регрессии
25 сентября 2025 г.
Байесовский вывод в линейной регрессии
25 сентября 2025 г.
Геометрический смысл регуляризации. Байесовский вывод в линейной регрессии, его наглядные иллюстрации. Вывод предсказательного распределения в линейной регрессии.
Основы классификации
2 октября 2025 г.
Основы классификации
2 октября 2025 г.
Постановка задачи классификации, её геометрия. Линейный дискриминант Фишера. Порождающие модели и оптимальный байесовский классификатор; пример: LDA и QDA. Идея логистической регрессии
Байесовский вывод в логистической регрессии
9 октября 2025 г.
Байесовский вывод в логистической регрессии
9 октября 2025 г.
Логистическая регрессия: максимизация правдоподобия, куда смотрит градиент; метод второго порядка и IRLS; мультиклассовая логистическая регрессия. Вывод предсказательного распределения через лапласовские аппроксимации.
Ближайшие соседи, проклятие размерности, разложение bias-variance-noise
16 октября 2025 г.
Ближайшие соседи, проклятие размерности, разложение bias-variance-noise
16 октября 2025 г.
Метод ближайших соседей. Проклятие размерности. Статистическая теория принятия решений, функция регрессии. Разложение bias-variance-noise и его смысл.
Байесовский вывод для гауссиана
23 октября 2025 г.
Байесовский вывод для гауссиана
23 октября 2025 г.
Байесовский вывод для обоих параметров гауссиана: для постоянного τ, постоянного μ, в случае, когда μ и τ меняются. Как маргинализация μ и предсказательное распределение приводят к распределению Стьюдента.
Байесовский выбор моделей
30 октября 2025 г.
Байесовский выбор моделей
30 октября 2025 г.
Выбор моделей как сравнение p(D). О дивергенции Кульбака-Лейблера. Байесовский информационный критерий (BIC). Эмпирический байес: идея, подсчёт p(D).
Информационные критерии Такеучи и Акаике
6 ноября 2025 г.
Информационные критерии Такеучи и Акаике
6 ноября 2025 г.
Эмпирический байес: напоминание, итеративная оптимизация α и β. Об информации Фишера. AIC: идея, оценка смещения, вывод TIC и AIC
Обучение равномерного распределения: немецкие танки и американские утки
13 ноября 2025 г.
Обучение равномерного распределения: немецкие танки и американские утки
13 ноября 2025 г.
Как подсчитать вражеские танки по серийным номерам? Байесовский взгляд на вещи, improper priors, примеры. Метод Линкольна-Петерсена, его предположения и уточнения.
Пример Джейнса
20 ноября 2025 г.
Пример Джейнса
20 ноября 2025 г.
Эдвин Джейнс и его книги. Как выбрать априорное распределение: равномерное, обрезанное равномерное, неинформативное. Распределение биномиальных обезьян.
Принцип максимума энтропии и априорные распределения Джеффриса
27 ноября 2025 г.
Принцип максимума энтропии и априорные распределения Джеффриса
27 ноября 2025 г.
Что такое энтропия и почему её максимизируют. Примеры. Априорные распределения Джеффриса: общая идея, монетка и гауссиан, многомерный случай.
Экспоненциальное семейство и GLM
4 декабря 2025 г.
Экспоненциальное семейство и GLM
4 декабря 2025 г.
Экспоненциальное семейство, его свойства. Байесовский вывод в экспоненциальном семействе. Обобщённые линейные модели, пуассоновская регрессия