Il delta di Dirac non è davvero eccessivamente utile qui (sebbene sia interessante), perché la distribuzione Gamma ha una densità continua, mentre il Dirac è il più non continuo possibile.

Hai ragione sul fatto che l'integrale di una densità di probabilità deve essere uno (mi atterrò alle densità definite solo sull'asse positivo),

$$ \ int_0 ^ \ infty f ( x) \, dx = 1. $$

Nel caso Gamma, la densità $ f (x) $ diverge da $ x \ a 0 $, quindi abbiamo quello che viene chiamato un improprio integrale . In tal caso, l'integrale è definito come limite poiché i confini dell'integrazione si avvicinano al punto in cui l'integrando non è definito,

$$ \ int_0 ^ \ infty f (x) \, dx: = \ lim_ {a \ to 0} \ int_a ^ \ infty f (x) \, dx, $$

fintanto che esiste questo limite .

(Per inciso, usiamo lo stesso abuso di notazione per dare un significato al simbolo "$ \ int ^ \ infty $", che è definito come il limite dell'integrale $ \ int ^ b $ come $ b \ a \ infty $ , ancora fintanto che esiste questo limite . Quindi, in questo caso particolare, abbiamo due punti problematici: $ 0 $, dove l'integrando non è definito, e $ \ infty $, dove non possiamo valutare direttamente l'integrale. Dobbiamo lavorare con i limiti in entrambi i casi.)

Per la distribuzione Gamma in modo specifico, in un certo senso elenchiamo il problema. Definiamo innanzitutto la funzione Gamma come segue:

$$ \ Gamma (k): = \ int_0 ^ \ infty y ^ {k-1 } e ^ {- y} \, dy. $$

Dimostreremo quindi che questa definizione ha effettivamente senso, nel senso dei diversi limiti delineati sopra. Per semplicità, qui possiamo attenerci a $ k>0 $, sebbene la definizione possa essere estesa anche a (molti) valori complessi $ k $. Questo controllo è un'applicazione standard del calcolo e un bell'esercizio.

Successivamente, sostituiamo $ x: = \ theta y $ con $ \ theta>0 $ e dalla formula del cambio di variabili otteniamo

$$ \ Gamma (k) = \ int_0 ^ \ infty \ frac {x ^ {k-1} e ^ {- \ frac {x} {\ theta}}} {\ theta ^ k} \, dx, $$

da cui lo otteniamo

$$ 1 = \ int_0 ^ \ infty \ frac {x ^ {k-1} e ^ {- \ frac {x} {\ theta}}} {\ Gamma (k) \ theta ^ k} \, dx . $$

Cioè, l'integrando si integra con uno ed è quindi una densità di probabilità. La chiamiamo distribuzione Gamma con forma $ k $ e scala $ \ theta $.

Ora, mi rendo conto di aver davvero superato il limite qui. Il nocciolo dell'argomento sta nel fatto che la definizione della funzione Gamma di cui sopra ha senso. Tuttavia, questo è un calcolo semplice, non una statistica, quindi mi sento solo molto leggermente in colpa per averti indirizzato al tuo libro di testo di calcolo preferito e il tag della funzione gamma su Math.SO, in particolare questa domanda e questa domanda.

In qualche modo, se prendi l'area di una distribuzione Gamma divergente, potresti esprimerla come l'area di una distribuzione delta dirac, più qualcos'altro poiché ha un peso diverso da zero a $ x \ neq 0 $, quindi sarebbe più grande di uno.

È qui che il tuo ragionamento va storto: non puoi esprimere automaticamente alcuna funzione che è infinita a $ x = 0 $ come distribuzione delta più qualcosa di più . Dopo tutto, se potessi farlo con $ \ delta (x) $, chi può dire che non potresti farlo anche con $ 2 \ delta (x) $? Oppure $ 10 ^ {- 10} \ delta (x) $? O qualsiasi altro coefficiente? È altrettanto valido dire che quelle distribuzioni sono zero per $ x \ neq 0 $ e infinite per $ x = 0 $; perché non usare lo stesso ragionamento con loro?

In realtà, le distribuzioni (nel senso matematico della teoria della distribuzione) dovrebbero essere pensate più come funzioni di funzioni : metti una funzione e tira fuori un numero. Per la distribuzione delta in particolare, se si inserisce la funzione $ f $, si ottiene il numero $ f (0) $. Le distribuzioni non sono normali funzioni da numero a numero. Sono più complicate e più capaci di queste funzioni "ordinarie".

Questa idea di trasformare una funzione in un numero è abbastanza familiare a chiunque sia abituato a trattare con la probabilità. Ad esempio, le serie di momenti di distribuzione - media, deviazione standard, asimmetria, curtosi e così via - possono essere tutte pensate come regole che trasformano una funzione (la distribuzione di probabilità) in un numero (il momento corrispondente). Prendi il valore medio / aspettativa, per esempio. Questa regola trasforma una distribuzione di probabilità $ P (x) $ nel numero $ E_P [x] $, calcolato come $$ E_P [x] = \ int P (x) \, x \ \ mathrm {d} x $$ Oppure la regola per la varianza trasforma $ P (x) $ nel numero $ \ sigma_P ^ 2 $, dove $$ \ sigma_P ^ 2 [x] = \ int P (x) \, (x - E_P [x]) ^ 2 \ \ mathrm {d} x $$ La mia notazione è un po 'strana qui, ma spero che tu abbia l'idea. ¹

Potresti notare qualcosa che queste regole hanno in comune: in tutte, il modo in cui passi dalla funzione al numero è integrando la funzione moltiplicata per qualche altra funzione di ponderazione. Questo è un modo molto comune per rappresentare le distribuzioni matematiche. Quindi è naturale chiedersi, esiste qualche funzione di ponderazione $ \ delta (x) $ che ti permetta di rappresentare l'azione di una distribuzione delta come questa? $$ f \ to \ int \ delta (x) \, f (x) \ \ mathrm {d} x $$ Puoi facilmente stabilire che se esiste una tale funzione, deve essere uguale a $ 0 $ ogni $ x \ neq 0 $. Ma non puoi ottenere un valore per $ \ delta (0) $ in questo modo. Puoi dimostrare che è più grande di qualsiasi numero finito, ma non esiste un valore effettivo per $ \ delta (0) $ che faccia funzionare questa equazione, utilizzando le idee standard di integrazione. ²

Il motivo è che nella distribuzione delta c'è molto di più di questo: $$ \ begin {cases} 0, & x \ neq 0 \\ \ infty, & x = 0 \ end {cases} $$ Quel "$ \ infty $" è fuorviante. Rappresenta un intero set aggiuntivo di informazioni sulla distribuzione delta che le normali funzioni non possono rappresentare. Ed è per questo che non si può dire in modo significativo che la distribuzione gamma sia "più" della distribuzione delta. Certo, a qualsiasi $ x > 0 $, il valore della distribuzione gamma è maggiore del valore della distribuzione delta, ma tutte le informazioni utili sulla distribuzione delta sono bloccate in quel punto a $ x = 0 $, e che le informazioni sono troppo ricche e complesse per permetterti di dire che una distribuzione è più dell'altra.

Dettagli tecnici

¹ In realtà, puoi capovolgere le cose e pensare alla distribuzione di probabilità stessa come alla distribuzione matematica. In questo senso, la distribuzione di probabilità è una regola che prende una funzione di ponderazione, come $ x $ o $ (x - E [x]) ^ 2 $, a un numero, $ E [x] $ o $ \ sigma_x ^ 2 $ rispettivamente. Se la pensi in questo modo, la notazione standard ha un po 'più senso, ma penso che l'idea generale sia un po' meno naturale per un post sulle distribuzioni matematiche.

² In particolare, per "idee standard di integrazione" sto parlando di integrazione di Riemann e integrazione di Lebesgue, che hanno entrambe la proprietà che due funzioni differiscono solo in un unico punto deve avere lo stesso integrale (dati gli stessi limiti). Se ci fosse una funzione $ \ delta (x) $, sarebbe diversa dalla funzione $ 0 $ solo in un punto, cioè $ x = 0 $, e quindi gli integrali delle due funzioni dovrebbero sempre essere gli stessi. $$ \ int_a ^ b \ delta (x) f (x) \ \ mathrm {d} x = \ int_a ^ b (0) f (x) \ \ mathrm {d} x = 0 $$ Quindi non ci sono numeri che puoi assegnare a $ \ delta (0) $ che fa riprodurre l'effetto della distribuzione delta.

Considera una densità esponenziale standard $ f (x) = \ exp (-x) \ ,, \: x>0 $ e considera un grafico di $ y = f (x) $ vs $ x $ (pannello di sinistra nel diagramma sotto).

Presumibilmente non trovi insondabile che ci sia densità positiva per tutti i $ x>0 $, ma l'area è comunque $ 1 $.

Ora scambiamo $ x $ e $ y $ ... ovvero $ x = \ exp (-y) $ o $ y = - \ ln (x) $, per $ 0<x \ leq 1 $. Ora questa è una densità valida, che asintota all'asse $ y $ (quindi è illimitata come $ x \ a 0 $), ma la sua area è chiaramente identica all'esponenziale (cioè l'area sotto la curva deve essere ancora 1 - tutto abbiamo riflesso la forma e la riflessione preserva l'area).

Chiaramente, quindi, le densità possono essere illimitate ma avere un'area 1.

Questa è davvero una domanda di calcolo, piuttosto che di statistica. Ti stai chiedendo come una funzione che va all'infinito con alcuni valori del suo argomento può ancora avere un'area finita sotto la curva?

È una domanda valida. Ad esempio, se invece della funzione Gamma hai preso un'iperbole: $ y = 1 / x $, per $ x = [0, \ infty) $, l'area sotto la curva non converge, è infinita.

Quindi, è abbastanza miracoloso che una somma ponderata di numeri molto grandi o addirittura infiniti converga in qualche modo a un numero finito . La somma è ponderata perché se guardi la definizione integrale di Riemann, potrebbe essere una somma come questa: $$ \ int_0 ^ \ infty 1 / x dx = \ lim_ {n \ rightarrow \ infty} \ sum_ {i = 0} ^ n \ frac {\ Delta x_i} {x_i} $$ Quindi, a seconda dei punti $ x_i $ che scegli, i pesi $ \ Delta x_i $ potrebbero essere piccoli o grandi. Quando ti avvicini a 0, $ 1 / x_i $ diventa più grande, ma anche $ \ Delta x_i $ diventa più piccolo. In questa competizione $ 1 / x_i $ vince e l'integrale non converge.

Per la distribuzione Gamma accade in modo che $ \ Delta x_i $ si restringa più velocemente della crescita di Gamma PDF e l'area finisce per essere finita . È un calcolo lineare per vedere come converge esattamente a 1.

Guarda il seguente esempio. Si noti che per ogni $ N $ finito,

$$ \ int_0 ^ N \ frac {1} {x} dx = \ log (N) - \ log (0) $$

ma $ \ log (0) $ non è definito quindi l'integrale è $ \ infty $ in un certo senso (questo ha un limite, ma ignoralo). Ma

$$ \ int_0 ^ N \ frac {1} {\ sqrt {x}} dx = \ sqrt {N} - \ sqrt {0} = \ sqrt {N} $$

In generale, questo si basa sull'idea che

$$ \ int \ frac {1} {x ^ p} dx = x ^ {1-p} $$

quindi se $ 1-p>0 $ il teorema fondamentale del calcolo ti dice che l'integrale è finito. Quindi l'idea è che diverge abbastanza lentamente (dove $ p $ è la velocità) che l'area è ancora delimitata.

Questo è simile alla convergenza delle serie. Ricorda che dal p-test abbiamo che

$$ \ sum_0 ^ \ infty \ frac {1} {x ^ p} $$

converge se e solo se $ p>1 $. In questo caso abbiamo bisogno di $ x ^ p \ rightarrow \ infty $ abbastanza veloce, dove ancora una volta $ p $ è la velocità e $ 1 $ è il punto di svolta.

Perché può essere una cosa reale? Pensa al fiocco di neve di Koch. In questo esempio continui ad aggiungere il perimetro del fiocco di neve in modo che l'area cresca lentamente. Ciò è dovuto al fatto che se crei un triangolo equilatero con lati di dimensione $ \ frac {1} {3} $, il perimetro è 1 mentre l'area è $ \ frac {1} {12 \ sqrt {3}} \ sim 0,05 $. Poiché l'area è molto più piccola del perimetro (è la moltiplicazione di due piccoli numeri invece dell'addizione!) Puoi scegliere di aggiungere triangoli in modo tale che il perimetro vada all'infinito mentre l'area rimanga finita. Per fare ciò devi scegliere una velocità alla quale i triangoli vanno a zero e, come probabilmente avrai intuito, c'è una velocità in cui passa dall'essere troppo lento e dare un'area infinita all'essere abbastanza veloce per dare un'area finita.

In totale, il calcolo ci dice che non tutte le singolarità (che cosa sono questi "punti infiniti" come zero) sono le stesse. Ci sono enormi differenze basate sulla "velocità locale" della singolarità. $ \ Gamma $ ha semplicemente una singolarità che è "abbastanza lenta" che l'area è finita. Se vuoi saperne di più sul "perché" le singolarità funzionano in questo modo, puoi approfondire molti più dettagli in Complex Analysis e il suo studio delle singolarità di funzioni analitiche complesse (di cui $ \ Gamma $ è).