Возможно, вы захотите задать аналогичный вопрос на StatsExchange.Тем не менее, здесь сделана попытка ответить на вопрос высокого уровня «построить некоторую интуицию» (заявление об отказе: я специалист по компьютерам, а не специалист по статистике. Для более формального обсуждения перейдите в StatsExchange) .
Байесовский вывод:
В самом основном смысле мы следуем правилу Байеса: p (Θ | y) = p (y | Θ) p (Θ) / p (y).Здесь p (Θ | y) называется «апостериорным», и это то, что вы пытаетесь вычислить.p (y | Θ) называется «вероятностью данных» и обычно задается вашей моделью или вашим генеративным описанием данных.p (Θ) называется «предшествующим», и оно отражает ваше мнение о вероятных значениях параметров перед наблюдением данных.p (y) называется «предельным правдоподобием», и использование закона полной вероятности можно выразить как ∫ p (y | Θ) p (Θ) dΘ.Это выглядит действительно аккуратно, но в действительности p (y) часто трудно вычислить аналитически и в больших измерениях (то есть, когда when имеет много измерений), численное интегрирование является неточным и вычислительно неразрешимым.Есть определенные случаи, когда сопряженная структура задачи позволяет вам вычислить это аналитически, но во многих полезных моделях это просто невозможно.Поэтому мы переходим к , аппроксимирующему апостериор.
Существует два способа (, которые я знаю о ) аппроксимировать апостериор: Монте-Карло и Вариационный вывод .Поскольку вы спрашивали о MCMC, я буду придерживаться этого.
Монте-Карло (и Марковская цепь Монте-Карло):
Многие проблемы в статистике связаны с принятием ожиданийфункции при вероятностных распределениях.Из закона больших чисел ожидание может быть эффективно аппроксимировано оценкой Монте-Карло.Следовательно, если мы можем извлечь выборки из распределения (даже если мы не знаем само распределение), то мы можем вычислить оценку Монте-Карло рассматриваемого ожидания.Ключевым моментом является то, что нам не нужно иметь выражение для распределения: если у нас есть только образцы, то мы можем вычислить ожидания, которые нас интересуют. Но тут есть одна загвоздка ... Как нарисовать образцы ??
Была проделана большая работа по разработке способов рисования образцов из неизвестных распределений.К ним относятся выборка «отклонение», «важность» и «срез».Все это были замечательные инновации, которые были полезны во многих приложениях, но все они страдали от плохого масштабирования до больших размеров.Например, выборка отклонения отбирает выборки из известного распределения «предложения», а затем принимает или отклоняет эту выборку на основе вероятности, которая должна оценить функцию правдоподобия и функцию предложения.Это замечательно в 1-м измерении, но с ростом размерности масса вероятности отклонения данной выборки резко возрастает.
Марковская цепь Монте-Карло была новшеством, к которому были приложены некоторые очень хорошие теоретические гарантии.Ключевая идея заключалась в том, чтобы не случайным образом отбирать выборки из распределения предложения, а использовать известную выборку (с надеждой, что выборка находится в области с высокой вероятностью массы), а затем сделать небольшой случайный шаг под ничьей из распределения предложения,В идеале, если первая ничья была в области с высокой вероятностью массы, то вторая ничья также, вероятно, будет принята.Таким образом, вы принимаете гораздо больше образцов и не тратите время на отбор образцов, которые должны быть отклонены.Удивительно, что если вы запускаете цепь Маркова достаточно долго (т.е. до бесконечности) и в определенных условиях (цепь должна быть конечной, апериодической, неприводимой и эргодической), тогда ваши образцы будут извлечены из истинногозадняя часть вашей модели.Это восхитительно!Метод MCMC состоит в том, чтобы отобрать зависимых выборок, чтобы он масштабировался до более высокой размерности, чем предыдущие методы, но при правильных условиях, даже если выборки являются зависимыми, они выглядят так, как будто они извлекаются IID из требуемого распределения(что является последним в байесовском умозаключении).
Связывание его (и, надеюсь, ответ на ваш вопрос):
MCMC можно рассматривать как инструмент, который позволяет Байесовский вывод (так же, как аналитические вычисления из сопряженной структуры, Вариационный вывод и Монте-Карло являются альтернативами).Помимо аналитического решения, все остальные инструменты приближаются к истинному заднему.Наша цель состоит в том, чтобы сделать аппроксимацию настолько хорошей, насколько это возможно, и сделать это как можно дешевле (как в вычислительных затратах, так и в затратах на вычисление множества беспорядочной алгебры).Предыдущие методы выборки не масштабировались до больших размеров (что типично для любой проблемы реального мира), и поэтому байесовский вывод стал во многих случаях очень дорогим и непрактичным в вычислительном отношении.Тем не менее, MCMC открыла дверь для нового способа эффективного извлечения образцов из многомерного апостериорного пространства, чтобы сделать это с хорошими теоретическими гарантиями и сделать это (сравнительно) легко и вычислительно дешево.
Стоит отметить, чтоМетрополис сам по себе имеет проблемы: он борется с сильно коррелированным пространством скрытых параметров, он требует определенного пользователем распределения предложений, и корреляция между выборками может быть высокой, что приводит к искаженным результатам.Поэтому для борьбы с этим были предложены более современные, а иногда и более полезные инструменты MCMC.См. «Гамильтониан Монте-Карло» и «Пробоотборник без разворота», чтобы узнать о состоянии искусства.Тем не менее, Metropolis был огромным новшеством, которое внезапно сделало вычислительные проблемы реальными.
Последнее замечание: см. это обсуждение МакКей для действительно хорошего обзора этих тем.