在數(shù)理統(tǒng)計(jì)學(xué)中，似然函數(shù)是一種關(guān)于統(tǒng)計(jì)模型中的參數(shù)的函數(shù)，表示模型參數(shù)中的似然性。似然函數(shù)在統(tǒng)計(jì)推斷中有重大作用，如在最大似然估計(jì)和費(fèi)雪信息之中的應(yīng)用等等。“似然性”與“或然性”或“概率”意思相近，都是指某種事件發(fā)生的可能性，但是在統(tǒng)計(jì)學(xué)中，“似然性”和“或然性”或“概率”又有明確的區(qū)分。概率用于在已知一些參數(shù)的情況下，預(yù)測接下來的觀測所得到的結(jié)果，而似然性則是用于在已知某些觀測所得到的結(jié)果時(shí)，對有關(guān)事物的性質(zhì)的參數(shù)進(jìn)行估計(jì)。

在這種意義上，似然函數(shù)可以理解為條件概率的逆反。在已知某個(gè)參數(shù)B時(shí)，事件A會發(fā)生的概率寫作 $\mathbb{P}(A \mid B)$ 。

$P(A \mid B) = \frac{P(A , B)}{P(B)} \!$

利用貝葉斯定理，

$P(B \mid A) = \frac{P(A \mid B)\;P(B)}{P(A)} \!$

因此，我們可以反過來構(gòu)造表示似然性的方法：已知有事件A發(fā)生，運(yùn)用似然函數(shù) $\mathbb{L}(B \mid A)$ ，我們估計(jì)參數(shù)B的可能性。形式上，似然函數(shù)也是一種條件概率函數(shù)，但我們關(guān)注的變量改變了：

$b\mapsto P(A \mid B=b) \!$

注意到這里并不要求似然函數(shù)滿足歸一性： $\sum_{b \in \mathcal{B}}P(A \mid B=b) = 1$ 。一個(gè)似然函數(shù)乘以一個(gè)正的常數(shù)之后仍然是似然函數(shù)。對所有 $α > 0$ ，都可以有似然函數(shù)：

$L(b \mid A) = \alpha \; P(A \mid B=b) \!$

例子

兩次投擲都正面朝上時(shí)的似然函數(shù)

考慮投擲一枚硬幣的實(shí)驗(yàn)。通常來說，已知投出的硬幣正面朝上和反面朝上的概率各自是 $p H = 0.5$ ，便可以知道投擲若干次后出現(xiàn)各種結(jié)果的可能性。比如說，投兩次都是正面朝上的概率是0.25。用條件概率表示，就是：

$P(\mbox{HH} \mid p_H = 0.5) = 0.5^2 = 0.25$

其中H表示正面朝上。

在統(tǒng)計(jì)學(xué)中，我們關(guān)心的是在已知一系列投擲的結(jié)果時(shí)，關(guān)于硬幣投擲時(shí)正面朝上的可能性的信息。我們可以建立一個(gè)統(tǒng)計(jì)模型：假設(shè)硬幣投出時(shí)會有 $p H$ 的概率正面朝上，而有 $1 - p H$ 的概率反面朝上。這時(shí)，條件概率可以改寫成似然函數(shù)：

$L(p_H = 0.5 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.5) =0.25$

也就是說，對于取定的似然函數(shù)，在觀測到兩次投擲都是正面朝上時(shí)， $p H = 0.5$ 的似然性是0.25（這并不表示當(dāng)觀測到兩次正面朝上時(shí) $p H = 0.5$ 的概率是0.25）。

如果考慮 $p H = 0.6$ ，那么似然函數(shù)的值也會改變。

$L(p_H = 0.6 \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = 0.6) =0.36$

三次投擲中頭兩次正面朝上，第三次反面朝上時(shí)的似然函數(shù)

注意到似然函數(shù)的值變大了。這說明，如果參數(shù) $p H$ 的取值變成0.6的話，結(jié)果觀測到連續(xù)兩次正面朝上的概率要比假設(shè) $p H = 0.5$ 時(shí)更大。也就是說，參數(shù) $p H$ 取成0.6 要比取成0.5 更有說服力，更為“合理”。總之，似然函數(shù)的重要性不是它的具體取值，而是當(dāng)參數(shù)變化時(shí)函數(shù)到底變小還是變大。對同一個(gè)似然函數(shù)，如果存在一個(gè)參數(shù)值，使得它的函數(shù)值達(dá)到最大的話，那么這個(gè)值就是最為“合理”的參數(shù)值。

在這個(gè)例子中，似然函數(shù)實(shí)際上等于：

$L(p_H = \theta \mid \mbox{HH}) = P(\mbox{HH}\mid p_H = \theta) =\theta^2$ ，其中 $0 \le p_H \le 1$ 。

如果取 $p H = 1$ ，那么似然函數(shù)達(dá)到最大值1。也就是說，當(dāng)連續(xù)觀測到兩次正面朝上時(shí)，假設(shè)硬幣投擲時(shí)正面朝上的概率為1是最合理的。

類似地，如果觀測到的是三次投擲硬幣，頭兩次正面朝上，第三次反面朝上，那么似然函數(shù)將會是：

$L(p_H = \theta \mid \mbox{HHT}) = P(\mbox{HHT}\mid p_H = \theta) =\theta^2(1 - \theta)$ ，其中T表示反面朝上， $0 \le p_H \le 1$ 。

這時(shí)候，似然函數(shù)的最大值將會在 $p_H = \frac{2}{3}$ 的時(shí)候取到。也就是說，當(dāng)觀測到三次投擲中前兩次正面朝上而后一次反面朝上時(shí)，估計(jì)硬幣投擲時(shí)正面朝上的概率 $p_H = \frac{2}{3}$ 是最合理的。

應(yīng)用

最大似然估計(jì)

最大似然估計(jì)是似然函數(shù)最初也是最自然的應(yīng)用。上文已經(jīng)提到，似然函數(shù)取得最大值表示相應(yīng)的參數(shù)能夠使得統(tǒng)計(jì)模型最為合理。從這樣一個(gè)想法出發(fā)，最大似然估計(jì)的做法是：首先選取似然函數(shù)（一般是概率密度函數(shù)或概率質(zhì)量函數(shù)），整理之后求最大值。實(shí)際應(yīng)用中一般會取似然函數(shù)的對數(shù)作為求最大值的函數(shù)，這樣求出的最大值和直接求最大值得到的結(jié)果是相同的。似然函數(shù)的最大值不一定唯一，也不一定存在。與矩法估計(jì)比較，最大似然估計(jì)的精確度較高，信息損失較少，但計(jì)算量較大。

似然比檢驗(yàn)

似然比檢驗(yàn)是利用似然函數(shù)來檢測某個(gè)假設(shè)（或限制）是否有效的一種檢驗(yàn)。一般情況下，要檢測某個(gè)附加的參數(shù)限制是否是正確的，可以將加入附加限制條件的較復(fù)雜模型的似然函數(shù)最大值與之前的較簡單模型的似然函數(shù)最大值進(jìn)行比較。如果參數(shù)限制是正確的，那么加入這樣一個(gè)參數(shù)應(yīng)當(dāng)不會造成似然函數(shù)最大值的大幅變動。一般使用兩者的比例來進(jìn)行比較。尼曼-皮爾森引理說明，似然比檢驗(yàn)是所有具有同等顯著性差異的檢驗(yàn)中最有統(tǒng)計(jì)效力的檢驗(yàn)。

posted on 2011-12-19 10:32 憤怒的考拉閱讀(245) 評論(0) 編輯收藏

新用戶注冊刷新評論列表


只有注冊用戶登錄后才能發(fā)表評論。




網(wǎng)站導(dǎo)航: 博客園 IT新聞 Chat2DB C++博客博問管理

2025年5月

日

一

二

三

四

五

六

常用鏈接

留言簿

隨筆檔案

2012年5月 (1)

應(yīng)用

最大似然估計(jì)

似然比檢驗(yàn)

常用鏈接

留言簿

隨筆檔案

文章檔案

搜索

最新評論