Tính toán khả năng trong Metropolis – Hastings: Làm thế nào nó liên quan đến hậu nghiệm trong phân tích Bayes?

Kim 06/05/2018. 2 answers, 179 views
bayesian mcmc metropolis-hastings

Câu hỏi cơ bản về thuật toán MCMC Metropolis – Hastings. Tôi đang cố gắng hiểu thuật toán Metropolis – Hastings và nó kết nối với Phân tích Bayesian. Giả sử tôi muốn xây dựng một algrorithm MH MCMC để đánh giá phân phối hậu nghiệm của tôi trong Phân tích Bayesian của tôi.

Tôi đang nhìn vào bước mà $ \ alpha $ đang được tính toán: $$ \ alpha = \ frac {P (\ theta ^ * | \ textbf {Y})} {P (\ theta ^ {(i)} | \ textbf {Y})} $$ Ở đây tôi có (để đơn giản) giả định rằng mật độ đề xuất của tôi trong thuật toán MH là đối xứng.

$ P (\ theta ^ * | \ textbf {Y}) $ là khả năng $ \ theta ^ * $ cung cấp dữ liệu của chúng tôi. Vì vậy, về cơ bản trước thuật toán MH chúng ta cần giả định một phân phối cho $ \ theta $, phải không? Và là $ P (\ theta ^ * | \ textbf {Y}) $ phân phối hậu sản của chúng ta? Làm cách nào để tính $ P (\ theta ^ * | \ textbf {Y}) $ ?

Ngoài ra, vui lòng cung cấp lời giải thích oral (bằng lời) của $ P (\ theta ^ * | \ textbf {Y}) $ và đó là kết nối phân phối hậu sản mà chúng tôi muốn tính toán. Sự nhầm lẫn của tôi nảy sinh với thực tế là chúng tôi không thể biết được phân phối hậu nghiệm của chúng tôi và đó là toàn bộ quan điểm của MH. Vậy làm thế nào có thể tính toán khả năng ...

2 Answers


niandra82 06/05/2018.

Có rất nhiều sự nhầm lẫn. Bạn muốn đánh giá sau $$ f (\ theta | \ mathbf {y}) = \ frac {f (\ mathbf {y} | \ theta) f (\ theta)} {f (\ mathbf {y})} $$ nơi tôi sử dụng $ f () $ để chỉ ra mật độ, càng chung càng tốt. Bạn phải quyết định khả năng của mô hình của bạn, tức là, $ f (\ mathbf {y} | \ theta) $, và trước đó trên $ \ theta $, tức là, $ f (\ theta) $. Nói cách khác, bạn phải giả định một phân phối cụ thể cho mỗi người trong số họ. Sau đó, bạn biết các hình thức chức năng của cả hai.

Để lấy mẫu từ hậu sản bằng MH, bạn chọn giá trị bắt đầu là $ \ theta $, mà chúng tôi gọi là $ \ theta ^ 0 $. Bây giờ bạn đề xuất một giá trị, từ một số phân bố đối xứng (để làm cho mọi thứ đơn giản nhất có thể), được chỉ ra với $ \ theta ^ * $. Sau đó, chúng tôi tính toán sau $$ \ alpha = \ phút (1, \ frac {f (\ mathbf {y} | \ theta ^ *) f (\ theta ^ *)} {f (\ mathbf {y} | \ theta ^ 0) f (\ theta ^ 0)}) $$ và chúng tôi lấy mẫu từ bản phân phối đồng đều $$ u \ sim \ text {Unif} (0,1). $$ Bây giờ, nếu $ u <\ alpha $ bạn đặt $ \ theta ^ 1 = \ theta ^ * $, nếu không $ \ theta ^ 1 = \ theta ^ 0 $.

Sau đó, bạn lặp lại các bước tương tự để tìm các giá trị của $ \ theta ^ 2, \ theta ^ 3, ... $, cho đến khi hội tụ.


niandra82 11/05/2018.

Bạn vẫn còn rất nhiều nhầm lẫn. Tôi sẽ cố gắng giải thích bằng một ví dụ.

Giả sử $ \ mathbf {Y} = (y_1, \ dots, y_n) '$ và bạn có $$ Y_i = \ beta_0 + \ beta_1x_i + \ epsilon_i $$, với $$ \ epsilon \ sim N (0, \ sigma ^ 2) $$ tức là mô hình hồi quy. Sau đó, thông số của bạn là $ \ theta = (\ beta_0, \ beta_1, \ sigma ^ 2) '$. Quan sát, với $ \ theta $, độc lập và sau đó khả năng là $$ f (\ mathbf {Y} | \ theta) = \ prod_ {i = 1} ^ nf (y_i | \ theta) $$ trong đó $ f (y_i | \ theta) $ bình thường với $ \ beta_0 + \ beta_1x_i $ và phương sai $ \ sigma ^ 2 $.

Như bạn có thể thấy, bạn thường có thể tính toán $ f (\ mathbf {Y} | \ theta) $ vì nó là mô hình của bạn, đó là những gì bạn giả định.

Tất nhiên bạn cũng phải xác định trước $ \ beta_0 $, $ \ beta_1 $ và $ \ sigma ^ 2 $, đó là $ f (\ theta) = f (\ beta_0) f (\ beta_1) f (\ sigma ^ 2) $, ví dụ.

$ f (\ mathbf {Y} | \ theta) $ không bằng $ f (\ mathbf {Y}) $ vì khả năng bình thường phụ thuộc vào tham số $ theta $.

Bây giờ, nếu bạn muốn có mẫu sau, $ f (\ theta | Y) $, bạn bắt đầu xác định một số giá trị ban đầu $ \ beta_0 ^ 0 $, $ \ beta_1 ^ 0 $ và $ \ sigma ^ {2.0} $ , bạn đề xuất một số giá trị mới, $ \ beta_0 ^ * $, $ \ beta_1 ^ * $ và $ \ sigma ^ {2, *} $ và sử dụng câu trả lời mà tôi đã cung cấp trước đó, bạn có thể cập nhật thông số của mình. Lưu ý rằng $$ f (\ mathbf {Y} | \ theta ^ *) = \ prod_ {i = 1} ^ nf (y_i | \ theta ^ *) $$ trong đó $ f (y_i | \ theta ^ *) $ là bình thường với $ \ beta_0 ^ * + \ beta_1 ^ * x_i $ và phương sai $ \ sigma ^ {2, *} $.

BTW: bạn không cần tính toán hậu tố, ý tưởng là lấy mẫu từ psoterior $ f (\ theta | \ mathbf {Y}) $


HighResolutionMusic.com - Download Hi-Res Songs

1 Martin Garrix

Yottabyte flac

Martin Garrix. 2018. Writer: Martin Garrix.
2 Dyro

Latency flac

Dyro. 2018. Writer: Martin Garrix;Dyro.
3 Martin Garrix

Access flac

Martin Garrix. 2018. Writer: Martin Garrix.
4 Alan Walker

Diamond Heart flac

Alan Walker. 2018. Writer: Alan Walker;Sophia Somajo;Mood Melodies;James Njie;Thomas Troelsen;Kristoffer Haugan;Edvard Normann;Anders Froen;Gunnar Greve;Yann Bargain;Victor Verpillat;Fredrik Borch Olsen.
5 Sia

I'm Still Here flac

Sia. 2018. Writer: Sia.
6 Bradley Cooper

Shallow flac

Bradley Cooper. 2018. Writer: Andrew Wyatt;Anthony Rossomando;Mark Ronson;Lady Gaga.
7 Cardi B

Taki Taki flac

Cardi B. 2018. Writer: Bava;Juan Vasquez;Vicente Saavedra;Jordan Thorpe;DJ Snake;Ozuna;Cardi B;Selena Gomez.
8 Blinders

Breach (Walk Alone) flac

Blinders. 2018. Writer: Dewain Whitmore;Ilsey Juber;Blinders;Martin Garrix.
9 Halsey

Without Me flac

Halsey. 2018. Writer: Halsey;Delacey;Louis Bell;Amy Allen;Justin Timberlake;Timbaland;Scott Storch.
10 Lady Gaga

I'll Never Love Again flac

Lady Gaga. 2018. Writer: Benjamin Rice;Lady Gaga.
11 Mako

Rise flac

Mako. 2018. Writer: Riot Music Team;Mako;Justin Tranter.
12 Kelsea Ballerini

This Feeling flac

Kelsea Ballerini. 2018. Writer: Andrew Taggart;Alex Pall;Emily Warren.
13 Dewain Whitmore

Burn Out flac

Dewain Whitmore. 2018. Writer: Dewain Whitmore;Ilsey Juber;Emilio Behr;Martijn Garritsen.
14 Avril Lavigne

Head Above Water flac

Avril Lavigne. 2018. Writer: Stephan Moccio;Travis Clark;Avril Lavigne.
15 Lady Gaga

Look What I Found flac

Lady Gaga. 2018. Writer: DJ White Shadow;Nick Monson;Mark Nilan Jr;Lady Gaga.
16 Billie Eilish

When The Party's Over flac

Billie Eilish. 2018. Writer: Billie Eilish;FINNEAS.
17 Bradley Cooper

Always Remember Us This Way flac

Bradley Cooper. 2018. Writer: Lady Gaga;Dave Cobb.
18 Rita Ora

Let You Love Me flac

Rita Ora. 2018. Writer: Rita Ora.
19 Diplo

Electricity flac

Diplo. 2018. Writer: Diplo;Mark Ronson;Picard Brothers;Wynter Gordon;Romy Madley Croft;Florence Welch.
20 Charli XCX

1999 flac

Charli XCX. 2018. Writer: Charli XCX;Troye Sivan;Leland;Oscar Holter;Noonie Bao.

Related questions

Hot questions

Language

Popular Tags