Основы байесовского вывода 2024

Введение. История AI. Что такое машинное обучение, какие задачи оно решает. Байесовский подход в машинном обучении, теорема Байеса и её интерпретация.

Сопряжённые априорные распределения, бета-распределение как сопряжённое для испытаний Бернулли. Байесовский вывод в жизни.

Линейная регрессия: метод наименьших квадратов, нелинейные признаки для линейной регрессии, оверфиттинг и регуляризация.

[2 лекции] Регуляризация в линейной регрессии. Байесовский вывод: сопряжённое априорное распределение и предсказательное распределение для линейной регрессии. Введение в классификацию: постановка задачи, геометрические методы, дискриминант Фишера.

Модельные методы классификации: LDA и QDA. Логистическая регрессия: мотивация, случай нескольких классов, градиент правдоподобия.

Логистическая регрессия: градиентный спуск, IRLS, лапласовские аппроксимации, байесовский вывод в логистической регрессии.

Метод ближайших соседей и проклятие размерности. Статистическая теория принятия решений. Bias-variance-noise decomposition.

Пример разложения bias-variance-noise. Байесовский вывод для гауссиана: по μ, по τ и по обоим сразу. Как получается распределение Стьюдента.

Байесовский выбор моделей: идея, KL-дивергенция, байесовский информационный критерий. Эмпирический Байес.

Информационные критерии Такеучи и Акаике: идея, информация Фишера, вывод и пример.

Обучение равномерного распределения: как подсчитать немецкие танки? Пример Джейнса: постановка задачи, равномерные априорные распределения.

Пример Джейнса: неинформативное априорное распределение, распределение биномиальных обезьян. Как определить энтропию? Принцип максимума энтропии, примеры: мультиномиальное распределение, одномерное распределение с фиксированными средним и дисперсией.

Априорные распределения Джеффриса. Определение экспоненциального семейства.

Байесовский вывод в экспоненциальном семействе. Обобщённые линейные модели.