R Academy · Lezione

Introduzione al pensiero bayesiano

Comprenda prior, likelihood e posterior nel quadro bayesiano

Introduzione al pensiero bayesiano è una lezione R Academy gratuita su CoddyKit. Questa è la lezione 1 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento R Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso R Academy include 4 lezioni in totale.

Frequentista e bayesiano

Nella statistica frequentista, la probabilità è la frequenza di lungo periodo di un evento. Nella statistica bayesiana, la probabilità rappresenta un grado di convinzione. La differenza fondamentale è che i frequentisti considerano i parametri come costanti fisse (sconosciute), mentre i bayesiani li considerano variabili casuali con distribuzioni di probabilità.

# Frequentist: parameter theta is fixed, data is random
# Bayesian: data is fixed (observed), theta has a distribution

# Example: estimating coin bias p
# Frequentist: MLE -> p_hat = heads / total
heads <- 7; total <- 10
p_mle <- heads / total
cat('MLE estimate:', p_mle, '\n')

# Bayesian: update prior belief with observed data
# Prior: Beta(2, 2) -> slightly informative, centered at 0.5
# Posterior: Beta(2 + heads, 2 + (total - heads)) = Beta(9, 5)
alpha_post <- 2 + heads
beta_post  <- 2 + (total - heads)
p_bayes <- alpha_post / (alpha_post + beta_post)  # posterior mean
cat('Bayesian posterior mean:', round(p_bayes, 3), '\n')

Teorema di Bayes

Il teorema di Bayes mette in relazione la convinzione iniziale riguardo a un parametro, la verosimiglianza dei dati dato quel parametro e la convinzione a posteriori dopo aver osservato i dati:

P(θ|data) = P(data|θ) × P(θ) / P(data)

Il denominatore P(data) è una costante di normalizzazione: rende la distribuzione a posteriori una distribuzione di probabilità propria.

# Bayes' theorem components
# P(theta | data)   = posterior  (what we want)
# P(data  | theta)  = likelihood (how well theta explains data)
# P(theta)          = prior      (what we believed before data)
# P(data)           = evidence   (normalising constant)

# Medical test example
P_disease   <- 0.01   # prior: 1% prevalence
P_pos_given_disease  <- 0.99  # sensitivity
P_pos_given_no_disease <- 0.05  # false positive rate

P_pos <- P_pos_given_disease * P_disease +
         P_pos_given_no_disease * (1 - P_disease)

P_disease_given_pos <- (P_pos_given_disease * P_disease) / P_pos

cat('P(positive test):', round(P_pos, 4), '\n')
cat('P(disease | positive test):', round(P_disease_given_pos, 4), '\n')
cat('Only', round(P_disease_given_pos * 100, 1), '% chance despite positive test!\n')

Distribuzioni a priori

La prior codifica la convinzione riguardo a un parametro prima di osservare i dati. Le distribuzioni a priori possono essere non informative (piatte, esprimono una conoscenza minima) oppure informative (fortemente concentrate, esprimono competenza nel dominio). Alcune distribuzioni a priori comuni: Beta(1,1) = uniforme, Normal(0, 10) = debolmente informativa.

# Visualise different Beta priors for a probability parameter
theta <- seq(0, 1, length.out = 200)

# Uniform (no prior knowledge)
prior_uniform <- dbeta(theta, 1, 1)

# Informative: believe p ~ 0.3
prior_informative <- dbeta(theta, 3, 7)

# Strong: believe p ~ 0.5
prior_strong <- dbeta(theta, 20, 20)

plot(theta, prior_uniform, type = 'l', col = 'gray',
     ylim = c(0, 8), xlab = 'theta', ylab = 'Density',
     main = 'Different Prior Beliefs')
lines(theta, prior_informative, col = 'blue')
lines(theta, prior_strong, col = 'red')
legend('topright', c('Uniform Beta(1,1)', 'Informative Beta(3,7)', 'Strong Beta(20,20)'),
       col = c('gray', 'blue', 'red'), lty = 1)

Funzioni di verosimiglianza

La verosimiglianza P(data|θ) misura quanto siano probabili i dati osservati per un determinato valore del parametro. Per i lanci di una moneta, la verosimiglianza è binomiale. Per i dati continui, è spesso gaussiana. Valutiamo la verosimiglianza per molti valori di θ per trovare quello che spiega meglio i dati.

# Likelihood for a coin flip experiment
# Data: 7 heads in 10 flips
heads <- 7; n <- 10

# Evaluate likelihood at many theta values
theta <- seq(0.01, 0.99, length.out = 200)
likelihood <- dbinom(heads, n, theta)

# Maximum likelihood
mle <- theta[which.max(likelihood)]
cat('MLE (max likelihood theta):', mle, '\n')

# Plot the likelihood function
plot(theta, likelihood, type = 'l', col = 'steelblue',
     xlab = 'theta (coin bias)', ylab = 'Likelihood P(7H|theta)',
     main = '7 Heads in 10 Flips: Likelihood')
abline(v = mle, lty = 2, col = 'red')
legend('topleft', paste('MLE =', mle), lty = 2, col = 'red')

Posteriori = priori × verosimiglianza

La distribuzione a posteriori è proporzionale alla distribuzione a priori moltiplicata per la verosimiglianza. Per il modello Beta-Binomiale questo risultato è trattabile analiticamente: se la distribuzione a priori è Beta(α, β) e osserva h teste in n lanci, la distribuzione a posteriori è Beta(α + h, β + n − h).

# Beta-Binomial conjugate model
heads <- 7; n <- 10
alpha_prior <- 2; beta_prior <- 2  # prior: Beta(2,2)

# Update: posterior = Beta(alpha + heads, beta + tails)
alpha_post <- alpha_prior + heads
beta_post  <- beta_prior  + (n - heads)

theta <- seq(0.01, 0.99, length.out = 300)

prior     <- dbeta(theta, alpha_prior, beta_prior)
likelihood <- dbinom(heads, n, theta)
likelihood <- likelihood / max(likelihood)  # normalise for plotting
posterior  <- dbeta(theta, alpha_post, beta_post)

plot(theta, posterior,  type = 'l', col = 'red',  lwd = 2,
     xlab = 'theta', ylab = 'Density', main = 'Prior vs Posterior')
lines(theta, prior,      col = 'blue', lwd = 2)
lines(theta, likelihood, col = 'gray', lwd = 2, lty = 2)
legend('topleft', c(paste0('Prior Beta(', alpha_prior, ',', beta_prior, ')'),
                    'Likelihood (scaled)',
                    paste0('Posterior Beta(', alpha_post, ',', beta_post, ')')),
       col = c('blue', 'gray', 'red'), lty = c(1,2,1), lwd = 2)

Distribuzioni a priori coniugate

Una distribuzione a priori coniugata è una distribuzione per cui la distribuzione a posteriori appartiene alla stessa famiglia della distribuzione a priori. Questo rende l'inferenza trattabile analiticamente. Alcune coppie coniugate comuni: Beta-Binomiale (proporzioni), Normal-Normal (medie con varianza nota), Gamma-Poisson (tassi).

# Conjugate prior table (analytical results)
conjugates <- data.frame(
  Likelihood    = c('Binomial',    'Poisson',    'Normal (known sigma)',
                    'Exponential', 'Multinomial'),
  Prior         = c('Beta',        'Gamma',      'Normal',
                    'Gamma',       'Dirichlet'),
  Posterior     = c('Beta',        'Gamma',      'Normal',
                    'Gamma',       'Dirichlet'),
  Update_Rule   = c('(a+h, b+t)',  '(a+x, b+n)', '(mu_n, sigma_n)',
                    '(a+n, b+sum)', '(a+counts)')
)
print(conjugates, row.names = FALSE)

# Beta-Binomial update
cat('\nBeta(2,3) + 7 heads, 3 tails -> Beta(',
    2+7, ',', 3+3, ')\n')

Intervalli credibili

Un intervallo credibile (CI) è l'analogo bayesiano di un intervallo di confidenza: un CI del 95% significa che esiste una probabilità a posteriori del 95% che θ si trovi nell'intervallo. Questa è l'interpretazione intuitiva che la maggior parte delle persone attribuisce, erroneamente, agli intervalli di confidenza frequentisti.

# 95% credible interval for Beta posterior
alpha_post <- 9; beta_post <- 5  # posterior from earlier

# Credible interval via quantile function
ci_lower <- qbeta(0.025, alpha_post, beta_post)
ci_upper <- qbeta(0.975, alpha_post, beta_post)
posterior_mean <- alpha_post / (alpha_post + beta_post)

cat('Posterior mean: ', round(posterior_mean, 3), '\n')
cat('95% Credible Interval: [',
    round(ci_lower, 3), ',',
    round(ci_upper, 3), ']\n')
cat('Interpretation: 95% probability theta is in this interval\n')

# Visualise
theta <- seq(0, 1, length.out = 300)
plot(theta, dbeta(theta, alpha_post, beta_post), type = 'l', col = 'red', lwd = 2,
     main = '95% Credible Interval', xlab = 'theta', ylab = 'Density')
abline(v = c(ci_lower, ci_upper), lty = 2, col = 'blue')

Aggiornamento bayesiano: apprendimento sequenziale

L'aggiornamento bayesiano è sequenziale: la distribuzione a posteriori di oggi diventa la distribuzione a priori di domani. Per questo l'inferenza bayesiana è naturalmente incrementale: quando arrivano nuovi dati non è necessario adattare nuovamente il modello da zero, basta aggiornare la distribuzione a posteriori esistente.

# Sequential Bayesian updating for a coin
# Start with uninformative prior Beta(1,1)
flips <- c(1, 0, 1, 1, 0, 1, 1, 1, 0, 1)  # 1=H, 0=T

alpha <- 1; beta_p <- 1  # prior
cat('Prior: Beta(', alpha, ',', beta_p, ') mean =', round(alpha/(alpha+beta_p), 3), '\n')

for (i in seq_along(flips)) {
  if (flips[i] == 1) alpha <- alpha + 1 else beta_p <- beta_p + 1
  mean_post <- alpha / (alpha + beta_p)
  cat('After flip', i, '(', flips[i], '): Beta(',
      alpha, ',', beta_p, ') mean =', round(mean_post, 3), '\n')
}

Stima MAP

La stima Maximum A Posteriori (MAP) è la moda della distribuzione a posteriori. Per una distribuzione a posteriori Beta(α, β), MAP = (α−1)/(α+β−2). La MAP bilancia l'influenza della distribuzione a priori con quella della verosimiglianza, spostando le stime verso la distribuzione a priori quando i campioni sono piccoli.

# Compare MLE vs MAP for small sample
heads <- 3; n <- 5
alpha_p <- 5; beta_p <- 5  # informative prior: believe p ~ 0.5

# MLE: ignores prior
mle <- heads / n

# MAP: mode of Beta posterior
alpha_post <- alpha_p + heads
beta_post  <- beta_p  + (n - heads)
map <- (alpha_post - 1) / (alpha_post + beta_post - 2)

# Posterior mean (alternative point estimate)
post_mean <- alpha_post / (alpha_post + beta_post)

cat('Data: 3 heads in 5 flips\n')
cat('MLE:           ', round(mle, 3), '(ignores prior)\n')
cat('MAP:           ', round(map, 3), '(mode of posterior)\n')
cat('Posterior mean:', round(post_mean, 3), '(mean of posterior)\n')
cat('Note: MAP and mean shrink toward prior (0.5) for small n\n')

Quando usare i metodi bayesiani

I metodi bayesiani sono particolarmente utili quando: (1) dispone di conoscenze informative a priori, (2) le dimensioni del campione sono ridotte, (3) ha bisogno di quantificare completamente l'incertezza, (4) vuole formulare affermazioni probabilistiche sui parametri oppure (5) esegue un'analisi sequenziale in cui le distribuzioni a priori vengono trasferite da esperimenti precedenti.

# Comparison: when Bayesian vs frequentist is preferred
comparison <- data.frame(
  Scenario = c(
    'Small sample (n < 30)',
    'Prior domain knowledge',
    'Probability about parameter',
    'Sequential updating',
    'Large sample, no prior',
    'Regulatory/simple inference'
  ),
  Preferred = c(
    'Bayesian', 'Bayesian', 'Bayesian',
    'Bayesian', 'Either',   'Frequentist'
  )
)
print(comparison, row.names = FALSE)

# Example: medical device testing with historical data
alpha_historical <- 15  # prior based on 20 historical tests
beta_historical  <- 5
cat('\nHistorical prior: Beta(', alpha_historical, ',', beta_historical, ')\n')
cat('Prior mean:', round(alpha_historical/(alpha_historical+beta_historical), 3), '\n')

Inferenza bayesiana nella pratica

Per i semplici modelli coniugati, l'inferenza è analitica (come mostrato sopra). Per i modelli complessi (gerarchici, non coniugati), usiamo il campionamento Markov Chain Monte Carlo (MCMC) tramite Stan (RStan), JAGS o BUGS per approssimare numericamente la distribuzione a posteriori.

# Analytical vs MCMC approaches
approaches <- data.frame(
  Method        = c('Conjugate (exact)', 'Grid approximation',
                    'Laplace approx.', 'MCMC (Stan/JAGS)',
                    'Variational Bayes'),
  When          = c('Conjugate prior+likelihood', 'Low-dim, discrete',
                    'Unimodal posterior', 'General complex models',
                    'Large scale, approximate'),
  Speed         = c('Instant', 'Fast', 'Fast', 'Slow', 'Moderate'),
  Exactness     = c('Exact', 'Exact on grid', 'Approximate',
                    'Asymptotically exact', 'Approximate')
)
print(approaches, row.names = FALSE)

Verifica rapida

Osserva 7 teste in 10 lanci di una moneta. La distribuzione a priori è Beta(2, 2). Qual è la distribuzione a posteriori corretta?

Riepilogo: ragionamento bayesiano

Punti chiave:

Teorema di Bayes: P(θ|data) ∝ P(data|θ) × P(θ)
La distribuzione a priori codifica la convinzione prima dei dati; la verosimiglianza codifica il supporto fornito dai dati; la distribuzione a posteriori combina entrambi
Le distribuzioni a priori coniugate producono distribuzioni a posteriori analitiche (Beta-Binomiale, Normal-Normal, Gamma-Poisson)
Aggiornamento Beta-Binomiale: Beta(α, β) + (h teste, t croci) → Beta(α+h, β+t)
Gli intervalli credibili hanno un'interpretazione probabilistica naturale che gli intervalli di confidenza non hanno
L'aggiornamento bayesiano è sequenziale: la distribuzione a posteriori di oggi è la distribuzione a priori di domani
Per i modelli complessi, usi il campionamento MCMC (Stan, JAGS) per approssimare le distribuzioni a posteriori

# Full Bayesian inference cycle for a proportion
alpha0 <- 2; beta0 <- 2  # prior
heads  <- 12; total <- 20  # observed data

alpha_post <- alpha0 + heads
beta_post  <- beta0  + (total - heads)

post_mean  <- alpha_post / (alpha_post + beta_post)
ci         <- qbeta(c(0.025, 0.975), alpha_post, beta_post)

cat('Prior: Beta(', alpha0, ',', beta0, ') mean =', round(alpha0/(alpha0+beta0), 2), '\n')
cat('Data:', heads, 'heads in', total, 'flips\n')
cat('Posterior: Beta(', alpha_post, ',', beta_post, ')\n')
cat('Posterior mean:', round(post_mean, 3), '\n')
cat('95% CI: [', round(ci[1],3), ',', round(ci[2],3), ']\n')

Domande Frequenti

La lezione «Introduzione al pensiero bayesiano» è gratuita?

Sì — il testo completo di «Introduzione al pensiero bayesiano» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso R Academy, passa a CoddyKit PRO. Il corso R Academy include 4 lezioni in totale.

Cosa imparerò in «Introduzione al pensiero bayesiano»?

Comprenda prior, likelihood e posterior nel quadro bayesiano Eserciti R Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.

Ho bisogno di esperienza per iniziare R Academy?

Non è richiesta alcuna esperienza precedente. R Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 1 di 4.

Quanto tempo richiede la lezione «Introduzione al pensiero bayesiano»?

La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.

Posso scrivere ed eseguire codice in questa lezione R Academy?

Sì. Ogni lezione R Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.

Tutte le lezioni di questo corso

← Torna a R Academy