H1 Flashcards
Quais propriedade uma função de probabilidade deve satisfazer ?
1) P[A] ≥ 0
2) P[Ω] = 1
3) Se A1, A2,…, são disjuntos então P UAi = ΣP(Ai)
P[Ac] = ?
1- P[A]
P [A|B] = ?
P(A ∩ B) / P(B)
Quando A e B são independentes
p[A∩B] = P[A] * p[B]
Então
P[A|B] = P[A]
Quais propriedades uma σ-algebra deve satisfazer?
1) ∅ está contido em scritptF
2) Se E ∈ scriptF então seu complemento também está
3) ScriptF é fechado em união finita de conjuntos, ou seja, se E1, E2,… está contido em scriptF então UEi também está
O que é a Borel σ-algebra?
Menpr σ-algebra que contém o conjunto na forma (-∞, 0)
O que fala a Lei da Probabilidade Total?
P[A] = ΣP[A | Bi] * P[Bi]
Oque fala a regra de Bayes?
P[A|B] = (P[B|A]P[A])/(P[B|A]P[A] + P[B|Ac]*P[Ac])
E[g(x)] = ?
Σ g(τ)*π
F(x) = P[X ≤ x]
Verdadeiro
Quais são as propriedades de uma CDF?
F(x) é não decrescente
lim x-> - ∞ F(x) = 0
lim x-> ∞ F(x) = 1
F(x) is right-continuous, lim x -> x0 pela esquerda F(x) = F(x0)
P[a ≤ x ≤ b] =…
F(b) - F(a)
Quais são as propriedades de uma PDF?
f(x) ≥ 0
∫ -infinito a infinito de f(x) = 1
Se g é uma função crescente, g-1 é uma função contínua, então fY(y) dado que Y = g(X) é igual a
fY(y) = fX(g-1(y))*J(y) J(y) = |d/dy g-1(y)|
WHat is Radon-Nikodym
If μ and v are σ-finite measures and (X, A), then there exists a measurable function f satisfying dv = f dμ or f = dv/dμ iff v is absolutely continuous with respect to μ.
fX,Y (x,y) = ? (definição)
Pr( w ∈ Ω | X(w) ≤ x, Y(w) ≤ y)
fX|Y(x , y) =?
fX,Y (x,y) / fY(y)
If two random variables X and Y are incpendent iff…
There exists functions g and h such thar the joint pmf/pdf can be written as
fXY(x,y) = g(x)*h(y)
E[r(x, y)] = ?
Caso contínuou
∫x∫y r(x,y) * fXY(x,y) dy dx
Caso discreto
Σx Σy r(x,y) * fXY(x,y)
Cov (X,Y) = ?
E[(x - μx)(y -μy)]
Corr(X,Y) = ?
Cov(x,y)/(σx*σy)
Var[X + Y] = ?
Var[X] + Var[Y] + 2Cov(X,Y)
E[r(x)] = ?
Discreto
Σr(x)*fX(x)
Continuo
∫r(x)*fX(x) dx
What is the kth moment?
μk = E(X^k)
Var(x) = ?
E[(X-μx)²]
Moment Generation Function
E[exp(t*x)]
How to find the kth moment with the Moment Generating Function
μk = (∂^k y)/(∂t^k) (0)
Characteristic function
ϕX = E[exp(xit)]
Chebyshev’s Inequality
Pr(|Y-μ| ≥ k*σ) ≤ 1/k²
Ou
Pr(|X - E[X]| ≥ δ) ≤ var(X)/δ²
Convergence in probability
for all ϵ>0
lim n-> ∞ pr(|xn - x| > ϵ) = 0
Convergence in quadratic mean
lim n-> ∞ E[(xn- x)²] = 0
Convergence Almost surely
P (lim n-> ∞ xn = x) = 1
Convergence in distribuition
Fn(X) -> f(X) para todo x tal que F(X-) = F(X0
F(X-) = lim xn pela direita x de F(X)
Apresente as relações de distribuição
Almost surely implica em probabilidade
Quadratic mean implica em probabilidade
Probbabilidade implica em distribuição
Qual é a Lei fraca dos grandes números
Se Xi são iid e E[X} < infty, então n -> inft
Xbarra = 1/n ΣXi converge em quadratic mean para E{X]
Qual é a Stong Law of Large Numbers
Se Xi são iid e E[X] < infty, então n -> ifty
Xbarra -> E[x] almost surely
Apresente o Teorema do Limite Central
Se Xi iid, with moment generating function in a neighborhood of zero, with mean and variance π and σ². Then
n^1/2 (Xbarra - π)/ σ converge em distribuição para N(0,1)
Se Xn converge em distribuição para X e Yn converge em probabilidade para uma constante C, então
XnYn converge em distribuição para cX
Xn + Yn converge em distribuição para c + X
Xn/Yn converge em distribuição para X/c
Se Xn converge em almost surely para X e Yn converge em almost surelypara Y, então
Xn + Yn cnverge almost surely para X +Y
Se Xn converge em Quadratic mean para X e Yn converge em Quadratic mean para Y, então
Xn + Yn cnverge Quadratic mean para X +Y
Se Xn converge em probabilidade para X e Yn converge em probabilidade para Y, então
Xn + Yn converge Probabilidade para X +Y
Se Xn -> X em distribuição então g(Xn)?
g(Xn) cnverge em distribuição para g(X) se g é contínua
Seja a sequênca de distribuição {Fn} com função característica ϕn. então temos (convergência)
i) Se fn -> f => ϕn (t) -> ϕ (t)
ii) Se ϕn(t) -> ϕ (t contcontínua em 0), então temos fn -> f com função característica ϕ
Delta Method
Se uma sequência de variáveis aleatórias Xn satisfaz
n^(1/2) (Xn - μ) converge em distribuição para N(0, σ²)
Então para qualquer função g(.) continuamente diferenciável em uma vizinhança de μ com derivada g’(μ),
(n^1/2) (g(Xn) - g(μ)) converge em distribuição N (0, g’(μ)²*σ²)
Cramer-Wold Device
Zn converge em distribuição para Z se e somente se λ^T Zn -> converge em distribuição para λ^T Z para todo λ in Rk com λ^T * λ = 1
Continuous Mapping Theorem
Se Zn -> c em probabilidade quando n-> infty e h(.) é contínuo em c entao h(Zn) -> h(c) quando n -> \infty
F(c) = P(X ≤ c) = E I(X ≤ c) = ?
∫ I(x ≤ x) dP^X (x)
I [w < 1/n] |²
I [w < 1/n] |
I [xi < x1] * I[xi < x2] = ?
i [xi < min{x1, x2}]
Como encontrar Σ?
Primeiro fazer a variância (σkk), depois fazer as covariâncias (σks)
Como podemos reescrever
Y = max{ X, c}
Y = X* I {X > c} + c * I {X < c}
Apresente o Teorema de Lindeberg-Feller
Seja Sn = Σxi (arrays)
Se i) Xn são independentes, ii) Exi = 0 , V(Sn) = ΣV(xni) = σ², iii) ∀ϵ > 0 lim n -> ∞ ΣE(X1i² * I(|Xni| > ϵ)) = 0
Com i), 2) 3) => Sn converge em distribuição para N(0, σ²)
Apresente a condição de Lyapunov
lim n->∞ 1/(σ^(2+δ)) * ΣE[|Xi|^(2+δ)] = 0
O que é um modelo corretamente especificado?
Quando existe um parâmetro θ0 tal que
f(x|θ0) = f(x) -> valor real da distribuição
O que é uma Loss Function?
É o custo de escolher d, enquanto o parâmetro verdadeiro é θ
Apresenta fórmula quadrática da Loss Function
L(θ, d) = (θ-d)²
O que é a Risk Function?
R(θ, δ) = Eθ [L(θ, δ(X))]
Quando a função loss é quadrática, o que é a função risco?
Mean Squared Error (MSE)
Var(W(X)) + Viés²
Viés = (E(W(X)) - θ)
Se E(W(X)) = θ
Estimador não viesado
O que é um estimador Uniformly Minimum Variance unbiased Estimator (UMVUE)
Estimador não viesado com menor variância
Apresente o Crámer-Rao Lower Bound
Se o modelo está bem especificado, então a variância de qualquer estimor não viesado é
V(W(X)) ≥ 1 / (-n * E[(∂^2 ln(f(X;p))) / (∂p)^2 ] )
Apresente a Desigualda De Cauchy-Schwarz
Cov(X,Y)² ≤ V(X)*V(Y)
Score Function
(∂ln(f(X;θ)) )/∂θ
Encontre a CDF de X(n) = max{X1, …, Xn}
P(X(n) ≤ X) = P(X1 ≤ X, X2 ≤ X,… Xn ≤ X) = (P(X1≤X))^n = F(X)^n
Apresente a Lei das Expectativas Iteradas
E[E[Y|X]] = E[Y]
Explain why the conditional expectation Eθ[θchapéu |Xbarra] does not depend
on θ
Isso ocorre porque Xbarra já contém toda informação sobre de θ. Logo, θchapéu |Xbarra não depende de θ o que leva a Eθ[θchapéu |Xbarra] não depender de θ.
Show the Likelihood equation for one random variable
L(θ) = fX(x; θ)
Show the Likelihood equation for iid random variables
L(θ) = fX1(x; θ)…fXn(x; θ) = ∏ fXi(x; θ)
Show the Log Likelihood equation
L(θ) = Σ ln(fXi(x; θ))
What is the MLE (Maximum Likelihood estimator)
The one that maximizes L(θ) [Log likelihood function]
Apresente a desigualdade de Jensen
Se g é convexa, então
E[g(X)] ≥ g(E[X])
Show the maximum likelihood estimator
θhat = argmaxθ Σln(fX(xi; θ))
Show the properties of the Maximum Liklihood estimator
1) θhat converges in probability to θ*
2) n^(1/2)(θhat - θ) converges in distribution to N(0, I^-1(θ)), where
I(θ) = - E[ (∂²ln(fX(x;θ))/∂θ∂θ’]
What is a Sufficient Statistic?
A statitic T(X) is a sufficient statistic for a parameter θ if the distribution of X given T does not depend on θ.
State the Factorization Lemma
Let fX(x;θ) be the pdf of a random variable X. A statistic T(X) is a sufficient statistic for θ iff there are functions g(t) and h(x) such that the pdf can be writtern as
fX(x; θ) = g(T(X); θ)*h(x)
for all values of θ
What is a Type I Error ?
Reject H0 when it is true
What is a Type II Error ?
Accept H0 when it is false
By expanding the critical region we increase the probability of type I errors and
decrease the probability of type II errors
True
Quando a hipótese é simples?
Se o intervalo em que H é verdadeiro é single
Quando a hipótese é composta?
Quando o conjunto em que H é verdadeiro apresenta varias distribuições
Oque é a power function?
Probabilidade de Rejeitar F dada que é falsa
P(H1 | F)
1-error tipo 2
O que é o tamanho do teste?
Rejeitar H0 dado que H0 é verdadeiro
P(H0 | F0)
Quando um teste é uniformemente mais forte (UMP)?
A power function β(θ) ≥β’(θ) para qualquer theta sobre nivel de significância α
Apresente o Neyman-Pearson Lemma
Considere o teste
H0: θ = θ0
H1: θ = θ1
CX = {x | fX(x; θ1) ≥ k · fX(x; θ0)}
for some k ≥ 0, and
α = ∫fX(x; θ0)dx. (em CX)
This test is the uniformly most powerful test of level αPorque o teste
H0: θ = θ0 e Ha: θ ≠ θ0
Não apresneta o teste mais forte
(No caso de uma normal)
Pois se μ1 > μ0 usamos o teste
Cx = {x| xbarra > k}
Já se μ1 < μ0 usamos o teste
Cx = {x| xbarra < k}
Pelo Lemma de Neyman Pearson esses são únicos e portanto não existe teste mais forte para
H0: θ = θ0 e Ha: θ ≠ θ0O que é um teste não viesado?
if the power function β(θ1) ≥ β(θ0) for all θ1 ∈ Θ0c and all θ0 ∈ Θ0
O teste
H0: θ ≥ θ0
Ha: θ < θ0
É não viesado?
Falso
O teste
H0: θ = θ0 e Ha: θ ≠ θ0
É não viesado
Verdadeiro
Apresente a estatística e o teste de Wald
H0 : θ = θ0 e H1 : θ ̸= θ0
W = N * (θml − θ0)2 * I(θml)
we reject the null hypothesis if the test statistic is larger than the critical value coming from the chi-squared distribution with one degree of
freedom
Apresente o teste de maximum Likelihood ratio (para o caso de uma variável)
λ = maxθ∈Θ0 fX(x; θ) /maxθ∈Θ0c fX(x; θ)
Porém podemos reescrever
λ = fX(x; θ0)/fX(x;θmle)
Se θmle ≠ θ0
Apresnte o teste Likelihood Ratio para N variáveis iid
LR = −2 * ln λ d→ χ²(1),
Onde
λ = L(x1, . . . , xN; θ0) / L(x1, . . . , xN;bθmle)
Apresente o Lagrange multiplier ou score test
LM = 1/N (∑ ∂lnfX(xi; θ0)/∂θ)² / I(θ)
Para pequenas e grandes amostras os testes de Wald, LR, Score são equivalentes
Falso, apenas para grandes amostras
Apresente o Teorema de Lehman-Scheffé
T(x) é a estatística minima suficiente se
f(x;θ)/f(y;θ) é constante iff T(x) = T(y)
Apesente o Teorema de Karlin-Rubin
Se a função f(x;θ1)/f(x;θ0) é monotonica e decrescente em x para qualquer θ1 ≥ θ0 então o Threshold test
ϕ = 1 se x >x0 e 0 se x θ0
Qual a importância do Teorema de Kalin-Rubin para a família das exponências?
Garante que o teste será composto
Apresente a propriedade de existência do Neyman-Pearson lemma
Se H0: θ = θ0 H1: θ = θ1 Então existe um teste ϕ e uma contante k, tais que ϕ(x) = 1 se f(x; θ1) > f(x;θ0)*k ϕ(x) = 0 se f(x; θ1) < f(x;θ0)*k e Eθ(ϕ(x) ) = α
Apresente a propriedade de suficiência de Neyman - Pearson
Se um teste satisfaz as condições de existência para algum k então esse é o UMP teste ao nível de significância α
Apresente a propriedade de necessidade de Neyman pearson
Se ϕ é o UMP test então esse satisfaz a estrutura da necessidade para algum k e satisfaz a esperança a menos que exista um teste de nivel signficancia < α e poder igual a 1
Se β denota o poder do teste a um nível de significância α, então
β > α a menos que P0 = P1
An unbiased estiamtor with variance eqaul to the Cramer-Rao Lower Bound exists iff…
The score function can be written as
∂lnf(x;θ)/∂θ = a(θ)*(W(X)-θ)
W(X) is some function. The minimum unbiased estimator then is equal to the maximum liklihood estimator W(x) = θmle
Para N(0,1) qual o valor de E[g(x)*X]
E[g’(x)]
