Distribuições a priori

A determinação da distribuição a priori para a quantidade de interesse é um ponto-chave da inferência bayesiana e, simultaneamente, é alvo de críticas. De forma geral, queremos codificar a informação sobre um parâmetro antes de realizarmos um determinado experimento. Dessa forma, a partir de uma informação a priori, queremos definir uma distribuição a priori. É claro que raramente conseguimos fazer esse processo de forma exata e única. Quando a informação é insuficiente para definir uma distribuição de probabilidade, o estatístico deve colocar informação subjetiva para, então, obter uma priori que faça sentido. Como a distribuição a priori influencia as inferências a posteriori o tanto quanto se queira (no limite, podemos colocar a massa de probabilidade em um único ponto), análises de robustez e de sensibilidade são essenciais no dia-a-dia bayesiano.

Determinação de uma priori

Queremos que a priori resuma a informação disponível sobre o fenômeno e a incerteza que temos sobre essa informação, mesmo quando não advém de um processo aleatório. Usando o conceito de George Box de que todos os modelos são errados, não existe uma priori verdadeira e, portanto, buscamos aproximações para representar .

📝 Exemplo (Distribuição normal)

Suponha que observamos e assumimos que . A média a posteriori de é dada por Nesse caso, note que estamos fazendo uma média ponderada de e com pesos e , respectivamente. Dessa forma, poderíamos pensar que a priori, teríamos virtualmente uma amostra de tamanho e média .

Podemos construir uma medida de probabilidade para através de uma relação que ordena o quão provável é um evento definido pela variável aleatória , como resumido aqui.

Quando não existe uma informação direta sobre , uma alternativa é usar a distribuição marginal de dada por Por exemplo, se é a produção diária média de leite, informação sobre pode ser obtida a partir da informação que já temos sobre o rebanho, o que é informação sobre a marginal de .

Prioris de entropia máxima

Assuma que temos para . Podemos selecionar que satisfaça essas relações e maximize a entropia, que mede o nível de desordem em um sistema. Se é finito, temos que é a entropia de . Essa quantidade é uma medida de incerteza dada por . Dessa forma, estamos minimizando a informação de trazida a priori. Sendo o multiplicador de Lagrange associado a , temos que a definição da priori é No caso contínuo, as contas se complicam um pouco e precisamos de uma medida de referência , que pode ser vista como a distribuição a priori sem restrição de momentos. Quando existe uma estrutura de grupo, a medida de Haar invariante à direita é a escolha natural para . Nesse caso, a entropia é definida como que é a distância de Kullback-Leibler entre e e a distribuição a priori que maximiza é

Aproximações paramétricas

A forma mais utilizada é provavelmente essa. Definimos uma família paramétrica para a distribuição a priori e buscamos definir os parâmetros através dos momentos ou quartis da distribuição. A base é mais a tratabilidade matemática do que a subjetividade. Outro ponto é que distribuições com caudas muito diferentes para infinito levam a inferências bastante distintas.

Prioris conjugadas

Prioris conjugadas são baseadas na verossimilhança e, portanto, já definem a família paramétrica da distribuição a priori, restando a definição dos parâmetros. Isso limita a informação a priori que deve ser obtida a fim de definir uma distribuição de probabilidade. Ela também auxilia na computação, como veremos na definição:

Família conjugada: Uma família de distribuições sobre é conjugada para a verossimilhança se para toda priori , a posteriori .

Essa família se torna interessante quando ela é a menor possível (é impossível encontrar uma mínima propriamente dita, mas a ideia é que ela tenha dimensão de parâmetros baixa) e parametrizada. Logo, atualizar a informação por é equivalente a atualizar os parâmetros da distribuição. Nas famílias conjugadas, podemos interpretar os hiperparâmetros como observações passadas virtuais, o que é considerado um ponto positivo.

Família exponencial e distribuições conjugadas

Seja uma medida -finita em e o espaço dos parâmetros. Sejam , , e funções. A família de distribuições com densidade com respeito a é chamada de família exponencial de dimensão . Quando e , a família é dita natural.

Lema de Pitman–Koopman: Se uma família de distribuições é tal que para suficientemente grande, existe uma estatística suficiente de dimensão constante, ela é exponencial se o suporte não depende de (essa condição final exclui a distribuição , por exemplo).

Além disso, para toda amostra de , existe uma estatística suficiente de dimensão constante.

O espaço natural de parâmetros é denotado por Ela é regular se é aberto e mínimo se em que é o menor conjunto convexo fechado que contém o suporte de .

Reescreva a densidade como em que é a função geradora cumulativa, pois supondo de classe e .

Priori conjugada: Uma família conjugada para é dada pela densidade cuja posteriori é dada por . Se e pertence ao interior de , define uma distribuição de probabilidade [Diaconis, Ylvisaker; 1978]. Para uma tabela completa, consulte aqui.

Outro resultado verificado no artigo acima é que a esperança a posteriori de é dada por quando .

Extensões

Considere o seguinte exemplo

📝 Exemplo [Diaconis, Ylvisaker; 1985]

Quando a moeda é girada pela borda e observamos o resultado quando ela cai, temos um viés maior para um lado do que para o outro devido a irregularidades. Seja o número de caras nesse experimento após jogadas. Como sabemos que existe uma irregularidade, poderíamos pensar em uma priori para que tivesse uma cara bimodal, dado peso para as duas possibilidades. Isso não é possível com a família conjugada beta. Uma forma de fazer isso é, portanto, através de misturas de distribuições beta.

Com esse exemplo, podemos ver que misturas de distribuições conjugadas definem uma família conjugada maior que dá maior flexibilidade para o formato de uma distribuição a priori. Além disso, podemos verificar que a mistura de distribuições pode aproximar qualquer distribuição a priori sob a distância de Prokhorov.

Distribuições a priori não informativas

Quando pouca (ou nenhuma) informação sobre está disponível, é difícil justificar a escolha com base subjetiva. Nesse caso, uma alternativa é usar a distribuição dos dados para, a partir dela, definir uma distribuição a priori. Chamamos essas prioris de não informativas. Mas devemos que lembrar que uma distribuição ser não informativa não significa que ignorância total está sendo representada probabilisticamente. Elas podem ser usadas como prioris de referência, todavia.

Priori de Laplace

Laplace sugeriu construir a distribuição a priori baseado no Princípio da Razão Insuficiente, em que eventos elementares são equiprováveis. Nesse caso, adotamos a priori uniforme. Se o espaço de parâmetros não for compacto, isso nos leva à uma distribuição imprópria, por consequência. Além disso, se fizermos uma transformação biunívoca , a priori para não será uniforme pela Fórmula da Mudança de Variáveis, isto é, a informação sobre não foi criada a partir dessa transformação, mas a distribuição não é uniforme.

Prioris invariantes

O conceito de invariância é bem profundo na matemática e, com base nesse conceito, podemos construir distribuições invariantes a reparametrização. Por exemplo, a família é invariante à translação, isto é, tem distribuição da mesma família para todo , . Chamamos de parâmetro de locação.

Priori de Jeffreys

A Priori de Jeffreys é baseada na Informação de Fisher dada pela expressão: no caso unidimensional. A distribuição de Jeffreys é definida por Note que se é uma transformação biunívoca. Nesse caso, , exatamente o que esperávamos usando a mudança de variáveis. Logo, essa priori é invariante à reparametrização. Além disso, é uma medida da quantidade de informação trazida pelo modelo sobre . Na prática, prioris de Jeffreys são usualmente impróprias. No caso multidimensional, é a priori de Jeffreys. Todavia, usar esse procedimento para construir prioris leva a paradoxos e incoerências.

Observação: A priori de Jeffreys para família de locação é constante.

📝 Exemplo (caso normal)

Suponha que com desconhecido. Nesse caso, podemos calcular que e, portanto, . Se assumirmos que e são independentes a priori, todavia, teremos que como priori não informativa e também a medida de Haar invariante ao modelo locação-scala.

Essa priori, todavia, não obedece ao Princípio da Verossimilhança, dado que a informação de Fisher de dois modelos diferentes podem ser diferentes, mesmo que as verossimilhanças sejam proporcionais. Confira essa resposta..

Prioris de referência

[Bernardo; 1979] propôs um procedimento para construir prioris não informativas, ou como ele destaca, um procedimento para obter prioris de forma que a posteriori aproxime aquela que adviria de uma informação a priori vaga. Seja e , em que é o parâmetro de interesse. A priori de referência primeiro define usando a priori de Jeffreys através quando é fixado. Depois, ele calcula e calcula a priori de Jeffreys para baseando-se em . Assim, o processo elimina os parâmetros que não são de interesse. O algoritmo se generaliza para mais camadas de parâmetros.

Prioris matching

Uma forma, no mínimo curiosa, de construir prioris não informativas é baseada em propriedades frequentistas, isto é, em que propriedades funcionem em média considerando . Seja um conjunto de confiança a posteriori nível , isto é, Esse conjunto define tem cobertura frequentista , em que nesse caso é a variável aleatória. Em geral, quando , então . No caso da priori de Jeffreys, isso se torna que decresce mais rapidamente. Para mais detalhes, consulte esse link.

Pontuações finais