[學(xué)習(xí)]概率論與數(shù)理統(tǒng)計浙大四版第七章第七章1講xiuga

1、第七章 參數(shù)估計,引言,上一講，我們介紹了總體、樣本、簡單隨機樣本、統(tǒng)計量和抽樣分布的概念，介紹了統(tǒng)計中常用的三大分布，給出了幾個重要的抽樣分布定理. 它們是進一步學(xué)習(xí)統(tǒng)計推斷的基礎(chǔ).,,總體,樣本,統(tǒng)計量,,,描述,,作出推斷,研究統(tǒng)計量的性質(zhì)和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).,,隨機抽樣,,,現(xiàn)在我們來介紹一類重要的統(tǒng)計推斷問題,參數(shù)估計問題是利用從總體抽樣得到的信息來估計總體的某些參數(shù)或者參數(shù)的某些函數(shù).

2、,參數(shù)估計,估計廢品率,估計新生兒的體重,估計湖中魚數(shù),… …,估計降雨量,在參數(shù)估計問題中，假定總體分布形式已知，未知的僅僅是一個或幾個參數(shù).,這類問題稱為參數(shù)估計.,參數(shù)估計問題的一般提法,X1,X2,…,Xn,參數(shù)估計,點估計,區(qū)間估計,（假定身高服從正態(tài)分布 ）,設(shè)這5個數(shù)是:,1.65 1.67 1.68 1.78 1.69,估計 為1.68，,這是點估計.,這是區(qū)

3、間估計.,假如我們要估計某隊男生的平均身高.,現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值 的估計. 而全部信息就由這5個數(shù)組成 .,一、點估計概念及討論的問題,例1 已知某地區(qū)新生嬰兒的體重X~,隨機抽查100個嬰兒,…,得100個體重數(shù)據(jù),10,7,6,6.5,5,5.2, …,而全部信息就由這100個數(shù)組成.,把樣本值代入T(X1,X2,…Xn) 中，得到,的一個點估計值 .,請注意，被

4、估計的參數(shù) 是一個未知常數(shù)，而估計量 T(X1,X2,…Xn)是一個隨機變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個已知的數(shù)值,這個數(shù)常稱為 的估計值 .,使用什么樣的統(tǒng)計量去估計 ？,可以用樣本均值;,也可以用樣本中位數(shù);,還可以用別的統(tǒng)計量 .,問題是:,我們知道,服從正態(tài)分布,,由大數(shù)定律,,自然想到把樣本體重的平均值作為總體平均體重的一個估計.,類似地，用樣本體重的方差 .,用樣本體重的

5、均值,樣本體重的平均值,1. 矩估計法,其基本思想是用樣本矩估計總體矩 .,理論依據(jù):,它是基于一種簡單的“替換”思想建立起來的一種估計方法 .,是英國統(tǒng)計學(xué)家K.皮爾遜最早提出的 .,大數(shù)定律,記總體k階矩為,樣本k階矩為,用相應(yīng)的樣本矩去估計總體矩的估計方法就稱為矩估計法.,記總體k階中心矩為,樣本k階中心矩為,i=1,2,…,k,從這k個方程中解出,j=1,2,…,k,那么用諸 的估計量 Ai分別代替上式中的諸 ,

6、即可得諸 的矩估計量 ：,j=1,2,…,k,解:,由矩法,,樣本矩,總體矩,從中解得,數(shù)學(xué)期望是一階原點矩,解:由密度函數(shù)知,具有均值為 的指數(shù)分布,故 E(X- )=,D(X- )=,令,,用樣本矩估計總體矩,解,例4,解方程組得到a, b的矩估計量分別為,,矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布 .,缺點是，當(dāng)總體類型已知時，沒有 充分利用分布提供的信息 . 一般場合下,矩估計

7、量不具有唯一性 .,其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性 .,稍事休息,2. 極大似然法,是在總體類型已知條件下使用的一種參數(shù)估計方法 .,它首先是由德國數(shù)學(xué)家高斯在1821年提出的 ,,Gauss,Fisher,然而，這個方法常歸功于英國統(tǒng)計學(xué)家費歇 .,費歇在1922年重新發(fā)現(xiàn)了 這一方法，并首先研究了這 種方法的一些性質(zhì) .,極大似然法的基本思想,先看一個簡單例子：,

8、一只野兔從前方竄過 .,是誰打中的呢？,某位同學(xué)與一位獵人一起外出打獵 .,如果要你推測，,你會如何想呢?,只聽一聲槍響，野兔應(yīng)聲倒下 .,下面我們再看一個例子,進一步體會極大似然法的基本思想 .,你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率. 看來這一槍是獵人射中的 .,這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想 .,例5 設(shè)X~B(1,p), p未知.設(shè)想我們事先知道p只有兩種可能:,問:應(yīng)如何估計p?

9、,p=0.7 或 p=0.3,如今重復(fù)試驗3次,得結(jié)果: 0 , 0, 0,由概率論的知識, 3次試驗中出現(xiàn)“1”的次數(shù),k=0,1,2,3,將計算結(jié)果列表如下：,應(yīng)如何估計p?,p=0.7 或 p=0.3,k=0,1,2,3,p值P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.70.027 0.189 0.441 0.343 0.30.

10、343 0.441 0.189 0.027,出現(xiàn),估計,出現(xiàn),出現(xiàn),出現(xiàn),估計,估計,估計,0.343,0.441,0.441,0.343,,如果只知道0<p<1,并且實測記錄是 Y=k (0 ≤ k≤ n),又應(yīng)如何估計p呢?,注意到,是p的函數(shù),可用求導(dǎo)的方法找到使f (p)達到極大值的p .,但因f (p)與lnf (p)達到極大值的自變量相同,故問題可轉(zhuǎn)化為求lnf (p)的極大

11、值點 .,=f (p),將ln f (p)對p求導(dǎo)并令其為0,,從中解得,=0,便得 p(n-k)=k(1-p),以上這種選擇一個參數(shù)使得試驗結(jié)果具有最大概率的思想就是極大似然法的基本思想 .,這時,對一切0<p<1,均有,則估計參數(shù)p為,極大似然估計原理：,當(dāng)給定樣本X1,X2,…Xn時，定義似然函數(shù)為：,設(shè)X1,X2,…Xn是取自總體X的一個樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合概率函數(shù)(離散型)為 f (X1

12、,X2,…Xn; ) .,似然函數(shù)：,極大似然估計法就是用使 達到最 大值的 去估計 .,稱 為 的極大似然估計（MLE）.,看作參數(shù) 的函數(shù)，它可作為 將以多大可能產(chǎn)生樣本值X1,X2,…Xn的一種度量 .,求極大似然估計(MLE)的一般步驟是：,(1) 由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù) (或聯(lián)合密度);,(2) 把樣本聯(lián)合概率函數(shù)(或聯(lián)合密度)中自變 量看成已

13、知常數(shù),而把參數(shù) 看作自變量, 得到似然函數(shù)L( );,(3) 求似然函數(shù)L( ) 的最大值點(常常轉(zhuǎn)化 為求ln L( )的最大值點) ，即 的MLE;,兩點說明：,1、求似然函數(shù)L( ) 的最大值點，可以應(yīng)用微積分中的技巧。由于ln(x)是x的增函數(shù)，lnL( )與L( )在 的同一值處達到它的最大值，假定 是一實數(shù)，且lnL( )是 的一個可

14、微函數(shù)。通過求解所謂“似然方程”：,可以得到 的MLE .,若 是向量，上述方程必須用似然方程組代替 .,2、用上述求導(dǎo)方法求參數(shù)的MLE有時行不通，這時要用極大似然原則來求 .,兩點說明：,下面舉例說明如何求極大似然估計,L(p)= f (X1,X2,…Xn; p ),例6 設(shè)X1,X2,…Xn是取自總體 X~B(1, p) 的一個樣本，求參數(shù)p的極大似然估計.,解：似然函數(shù)為:,對數(shù)似然函數(shù)為：,對p求導(dǎo)并令其為0，,=

15、0,得,即為 p 的MLE .,解：似然函數(shù)為,對數(shù)似然函數(shù)為,例7 設(shè)X1,X2,…Xn是取自總體X的一個樣本,求 的極大似然估計.,其中 >0,,求導(dǎo)并令其為0,=0,從中解得,即為 的MLE .,對數(shù)似然函數(shù)為,解：似然函數(shù)為,i=1,2,…,n,對數(shù)似然函數(shù)為,解：似然函數(shù)為,i=1,2,…,n,=0 (2),由(1)得,=0 (1),對 分別求偏

16、導(dǎo)并令其為0,,對數(shù)似然函數(shù)為,是,對,故使 達到最大的 即 的MLE，,于是,取其它值時，,即 為 的MLE .,且是 的增函數(shù),由于,極大似然估計的一個性質(zhì),可證明極大似然估計具有下述性質(zhì)：,設(shè) 的函數(shù)g=g( )是 上的實值函數(shù),且有唯一反函數(shù) . 如果 是 的MLE，則g( )也是g( )的極大似然估計.,,卡爾.皮爾

17、遜（Karl Prarson,1857-1936），英國生物學(xué)家和統(tǒng)計學(xué)家，舊數(shù)理學(xué)派和描述統(tǒng)計學(xué)派的代表人物，現(xiàn)代統(tǒng)計科學(xué)的創(chuàng)立者。　　卡爾.皮爾遜從兒童時代起，就有著廣闊的興趣范圍，非凡的知識活力，善于獨立思考，不輕易相信權(quán)威，重視數(shù)據(jù)和事實。他的主要成就和貢獻是在統(tǒng)計學(xué)方面。他開始把數(shù)學(xué)運用于遺傳和進化的隨機過程，首創(chuàng)次數(shù)分布表與次數(shù)分布圖，提出一系列次數(shù)曲線；推導(dǎo)出卡方分布，提出卡方檢驗，用以檢驗觀察值與期望值之間的差異顯著

18、性；發(fā)展了回歸和相關(guān)理論；為大樣本理論奠定了基礎(chǔ)。皮爾遜的科學(xué)道路，是從數(shù)學(xué)研究開始，繼之以哲學(xué)和法律學(xué)，進而研究生物學(xué)與遺傳學(xué)，集大成于統(tǒng)計學(xué)。,,在19世紀90年代以前，統(tǒng)計理論和方法的發(fā)展是很不完善的，統(tǒng)計資料的搜集、整理和分析都受到很多限制。皮爾遜在生物學(xué)家高爾頓(Francis Galton,1822-1911)和韋爾頓(Weldon,1860-1906)的影響下，從九十年代初開始進軍生物統(tǒng)計學(xué)。他認為生物現(xiàn)象缺乏定量研究是不