In statistics, maximum-likelihood e

In statistics, maximum-likelihood estimation (MLE) is a method of estimating the parameters of a statistical model. When applied to a data set and given a statistical model, maximum-likelihood estimation provides estimates for the model's parameters.

The method of maximum likelihood corresponds to many well-known estimation methods in statistics. For example, one may be interested in the heights of adult female penguins, but be unable to measure the height of every single penguin in a population due to cost or time constraints. Assuming that the heights are normally (Gaussian) distributed with some unknown mean and variance, the mean and variance can be estimated with MLE while only knowing the heights of some sample of the overall population. MLE would accomplish this by taking the mean and variance as parameters and finding particular parametric values that make the observed results the most probable (given the model).

In general, for a fixed set of data and underlying statistical model, the method of maximum likelihood selects the set of values of the model parameters that maximizes the likelihood function. Intuitively, this maximizes the "agreement" of the selected model with the observed data, and for discrete random variables it indeed maximizes the probability of the observed data under the resulting distribution. Maximum-likelihood estimation gives a unified approach to estimation, which is well-defined in the case of the normal distribution and many other problems. However, in some complicated problems, difficulties do occur: in such problems, maximum-likelihood estimators are unsuitable or do not exist.[citation needed]

Contents

ผลลัพธ์ (ไทย) 1:

สมมติว่า มีตัวอย่าง x1, x2,..., xn n อิสระ และกระจายเหมือนกันสังเกต มาแจกแจงด้วยการ f0(·) ฟังก์ชันความหนาแน่นของความน่าเป็นที่รู้จัก มันเป็นอย่างไรก็ตาม surmised ว่า f0 ฟังก์ชันสมาชิกครอบครัวกระจาย {f(·| θ) θ∈Θ} (θเวกเตอร์ของพารามิเตอร์สำหรับตระกูลนี้), เรียกแบบพาราเมตริก ดังนั้นที่ f0 = f (·| θ0) Θ0 ค่าไม่รู้จัก และจะเรียกว่าคุณค่าแท้จริงของเวกเตอร์พารามิเตอร์ ต้องหา scriptstylehat heta การประมาณการซึ่งจะใกล้เคียงกับ θ0 ค่าความจริงเป็นไป ได้ อย่างใดอย่างหนึ่ง หรือทั้งสองสิสังเกตตัวแปรและพารามิเตอร์θจะได้เวกเตอร์การใช้วิธีการของความเป็นไปได้สูงสุด หนึ่งก่อนระบุฟังก์ชันความหนาแน่นร่วมสำหรับการสังเกต อย่างเป็นอิสระ และกระจายเหมือนกัน ฟังก์ชันความหนาแน่นร่วมนี้เป็น f(x_1,x_2,ldots,x_n;|; heta) = f (x_1| heta) imes f(x_2| heta) imes cdots imes f(x_n| heta) ตอนนี้ เราดูที่ฟังก์ชันนี้จากมุมมองที่แตกต่างกัน โดยพิจารณาสังเกตค่า x1, x2,..., xn ถาวร "พารามิเตอร์" ที่งานนี้ ในขณะที่θจะเป็นตัวแปรของฟังก์ชัน และสามารถเปลี่ยนแปลงได้อย่างอิสระ ฟังก์ชันนี้จะเรียกว่าโอกาส: mathcal{L}( heta,;,x_1,ldots,x_n) = f(x_1,x_2,ldots,x_n;|; heta) = prod_{i=1}^n f(x_i| heta) หมายเหตุ แสดงการแยกระหว่างสองอินพุตอาร์กิวเมนต์: heta และที่ค่าเวกเตอร์อินพุต x_1, ldots, x_nในทางปฏิบัติ จึงมักจะเพิ่มเติมการทำงานกับลอการิทึมของฟังก์ชันความน่าเป็น โอกาสบันทึกที่เรียกว่า: lnmathcal{L}( heta,;,x_1,ldots,x_n) = sum_{i=1}^n ln f(x_i| heta) หรือเฉลี่ยล็อกโอกาส: hatell = frac1n lnmathcal{L } หาดใหญ่ผ่านℓบ่งชี้ว่า มันเป็นเหมือนกับบางประมาณ จริง ๆ scriptstylehatell ประเมินคาดล็อกโอกาสเก็บข้อมูลเดียวในแบบจำลองวิธีการของความเป็นไปได้สูงสุดประมาณ θ0 โดยการหาค่าของθที่วาง scriptstylehatell( heta;x) วิธีการประเมินนี้กำหนดประมาณความเป็นไปได้สูงสุด (พื้นฐาน) θ0 ... subseteq {hat heta_mathrm{mle} } { underset{ hetainTheta}{operatorname{arg,max}} hatell( heta,;,x_1,ldots,x_n) } ...ถ้ามีสูงสุด การประเมินพื้นฐานอยู่เหมือนกันว่าเราขยายโอกาสหรือฟังก์ชันความน่าเป็นล็อก ล็อกเป็น ฟังก์ชันเพิ่ม monotonically อย่างเคร่งครัดสำหรับหลายรูปแบบ การประมาณความเป็นไปได้สูงสุดสามารถพบเป็นฟังก์ชันชัดแจ้งการสังเกตข้อมูล x1,..., xn สำหรับรุ่นอื่น ๆ มากมาย อย่างไรก็ตาม ไม่แก้ไขปัญหา maximization แบบปิดเป็นที่รู้จัก หรือไม่มี และพื้นฐานการได้พบเรียงตามตัวเลขโดยใช้วิธีการปรับให้เหมาะสม สำหรับปัญหา อาจมีการประเมินหลายที่ขยายโอกาสการ สำหรับปัญหาอื่น ๆ ไม่ประเมินความเป็นไปได้สูงสุดแล้ว (หมายความ ว่า ฟังก์ชันความน่าเป็นล็อกเพิ่มขึ้น โดยไม่มีเรือค่า supremum)ในนิทรรศการดังกล่าว ก็จะสรุปข้อมูลเป็นอิสระ และกระจายเหมือนกัน สามารถใช้วิธีการอย่างไรก็ตามการกว้างตั้ง ตราบเท่าที่จำเป็นต้องเขียน f ฟังก์ชันความหนาแน่นร่วม (x1,..., xn | θ), θเป็นพารามิเตอร์มีขนาดจำกัดซึ่งขึ้นอยู่กับตัวอย่างขนาด n ในส่วนขยายที่เรียบง่าย เป็นเบี้ยเลี้ยงสามารถทำสำหรับข้อมูล heterogeneity เพื่อให้ความหนาแน่นร่วมเท่ากับ f1(x1|θ) · f2(x2|θ) ···· · fn(xn | θ) ใส่อีกวิธีหนึ่ง เรามีตอนนี้สมมติว่า สิละสังเกตมาจากตัวแปรสุ่มที่มีตนกระจายฟังก์ชันไร้สาย ในกรณีที่ซับซ้อนมากขึ้นเวลาชุดรุ่น อัสสัมชัญเป็นอิสระได้ยุติลงด้วยประมาณความเป็นไปได้สูงสุดกรุณาประมาณทฤษฎีมากที่สุดน่าเป็นที่รับทราบกระจายสม่ำเสมอบนพารามิเตอร์ แน่นอน posteriori แบบประเมินมากที่สุดคือ θพารามิเตอร์ที่วางน่าเป็นของθที่ให้ข้อมูล กำหนด โดยทฤษฎีบทของ Bayes: P( heta|x_1,x_2,ldots,x_n) = frac{f(x_1,x_2,ldots,x_n| heta)P( heta)}{P(x_1,x_2,ldots,x_n) } ที่ P( heta) เป็นการกระจายก่อน สำหรับθพารามิเตอร์ และความน่าเป็นของข้อมูล averaged ผ่านพารามิเตอร์ทั้งหมด P(x_1,x_2,ldots,x_n) เนื่องจากตัวหารที่เป็นอิสระของθ ประมาณทฤษฎีจะได้รับ โดยการเพิ่ม f(x_1,x_2,ldots,x_n| heta)P( heta) กับθ ถ้าเราต่อไปสมมติว่า P( heta) ก่อนกระจายสม่ำเสมอ ประมาณทฤษฎีจะได้รับ โดยการเพิ่ม f(x_1,x_2,ldots,x_n| heta) ฟังก์ชันความน่าเป็น ดังนั้น ประมาณทฤษฎีกรุณา ด้วยประมาณความเป็นไปได้สูงสุดสำหรับการกระจายก่อนรูป P( heta)

ผลลัพธ์ (ไทย) 2:

สมมติว่ามี x1 ตัวอย่าง x2, ... , xn ของ n ที่เป็นอิสระและกระจายเหมือนกันสังเกตมาจากการจัดจำหน่ายที่มีความหนาแน่นของความน่าจะเป็นฟังก์ชั่นที่ไม่รู้จัก F0 (·) มันเป็นเรื่องที่เดาได้ แต่ที่ F0 ฟังก์ชั่นเป็นของครอบครัวหนึ่งของการกระจาย {f (· | θ), θ∈Θ} (ที่θเป็นเวกเตอร์ของพารามิเตอร์สำหรับครอบครัวนี้) เรียกว่าแบบจำลองคณิตศาสตร์เพื่อให้ F0 = F (· | θ0) θ0ค่าไม่เป็นที่รู้จักและเป็นที่เรียกว่ามูลค่าที่แท้จริงของพารามิเตอร์เวกเตอร์ มันเป็นที่พึงปรารถนาที่จะหาประมาณการ scriptstyle hat theta ซึ่งจะใกล้เคียงกับθ0มูลค่าที่แท้จริงที่เป็นไปได้ อย่างใดอย่างหนึ่งหรือทั้งสองตัวแปรสังเกต Xi และθพารามิเตอร์สามารถเป็นพาหะ. ในการใช้วิธีการของความน่าจะเป็นสูงสุดคนแรกที่ระบุฟังก์ชันความหนาแน่นร่วมกันในการสังเกตทั้งหมด สำหรับกลุ่มตัวอย่างที่เป็นอิสระและกระจายเหมือนฟังก์ชั่นนี้มีความหนาแน่นร่วมเป็นf (x_1, x_2, ldots, x_n ; | ; theta) = f (x_1 | theta) times f (x_2 | theta) times cdots times f. (x_n | theta) ตอนนี้เรามองไปที่ฟังก์ชั่นนี้จากมุมมองที่แตกต่างกันโดยพิจารณาสังเกตค่า x1, x2, ... , xn ได้รับการแก้ไขพารามิเตอร์ "" ฟังก์ชั่นนี้ขณะที่θจะเป็นฟังก์ชั่น ตัวแปรและได้รับอนุญาตให้แตกต่างกันได้อย่างอิสระ; ฟังก์ชั่นนี้จะถูกเรียกว่าน่าจะเป็น: mathcal {L} ( theta , , x_1, ldots, x_n) = f (x_1, x_2, ldots, x_n ; | ; theta) = prod_ {i = 1} ^ nF (x_i | theta). หมายเหตุ; หมายถึงการแยกระหว่างคนทั้งสองมีปากเสียงอินพุท:. theta และ x_1 ป้อนข้อมูลเวกเตอร์, ldots, x_n ในทางปฏิบัติก็มักจะสะดวกกว่าที่จะทำงานร่วมกับฟังก์ชั่นลอการิทึมของความเป็นไปได้หรือที่เรียกว่าการเข้าสู่ระบบความน่าจะเป็น: ln mathcal {L} ( theta , , x_1, ldots, x_n) = sum_ {i = 1} ^ n ln f (x_i | theta) หรือเฉลี่ยเข้าสู่ระบบความน่าจะเป็น: hat ell = frac1n ln mathcal {L}. หมวกกว่าℓแสดงให้เห็นว่ามันจะคล้ายกับการประมาณการบาง อันที่จริง scriptstyle hat ell ประมาณการการเข้าสู่ระบบน่าจะเป็นที่คาดหวังของการสังเกตเดียวในรูปแบบ. วิธีการของความน่าจะเป็นสูงสุดประมาณการθ0โดยการหาค่าของθที่เพิ่ม scriptstyle hat ell ( theta; x) วิธีการประมาณค่านี้กำหนดประมาณการโอกาสสูงสุด (MLE) ของθ0 ... { hat theta_ mathrm {MLE} } subseteq { Underset { theta in ที} { operatorname {หาเรื่อง สูงสุด}} hat ell ( theta , , x_1, ldots, x_n). } ... ถ้าสูงสุดใด ๆ ที่มีอยู่ ประมาณการ MLE จะเหมือนกันโดยไม่คำนึงถึงว่าเราจะเพิ่มความเป็นไปได้หรือฟังก์ชั่นบันทึกความเป็นไปได้เนื่องจากการเข้าสู่ระบบเป็นฟังก์ชั่นที่เพิ่มขึ้นเรื่อย ๆ อย่างเคร่งครัด. สำหรับรุ่นที่หลายประมาณการโอกาสสูงสุดที่สามารถพบได้ในฐานะที่เป็นฟังก์ชั่นที่ชัดเจนของข้อมูลที่สังเกต x1, ... , xn สำหรับรุ่นอื่น ๆ จำนวนมาก แต่ไม่มีการแก้ปัญหาปิดแบบฟอร์มในการแก้ไขปัญหาสูงสุดเป็นที่รู้จักหรือมีและ MLE จะต้องมีการพบตัวเลขการใช้วิธีการเพิ่มประสิทธิภาพ สำหรับปัญหาบางอย่างอาจจะมีการประมาณการหลายตัวที่เพิ่มความเป็นไปได้ สำหรับปัญหาอื่น ๆ ประมาณการไม่มีโอกาสสูงสุดที่มีอยู่ (หมายความว่าฟังก์ชั่นบันทึกความเป็นไปได้เพิ่มขึ้นโดยไม่ต้องบรรลุค่า supremum). ในการแสดงออกดังกล่าวข้างต้นมันจะสันนิษฐานว่าข้อมูลที่มีความเป็นอิสระและกระจายเหมือนกัน วิธีการที่สามารถนำมาใช้ แต่การตั้งค่าที่กว้างขึ้นตราบเท่าที่มันเป็นไปได้ที่จะเขียนฉฟังก์ชันความหนาแน่นร่วมค้า (x1, ... , xn | θ) และθพารามิเตอร์ที่มีมิติ จำกัด ซึ่งไม่ได้ขึ้นอยู่กับขนาดของกลุ่มตัวอย่าง n ในการขยายง่ายเผื่อสามารถทำเพื่อความแตกต่างของข้อมูลเพื่อให้ความหนาแน่นทุนเท่ากับ f1 (x1 | θ) · f2 (x2 | θ) ····· Fn (xn | θ) วางวิธีอื่นเราตอนนี้สมมติว่าแต่ละสังเกต Xi มาจากตัวแปรสุ่มที่มีฟังก์ชั่นสายการกระจายตัวของมันเอง ในกรณีที่มีความซับซ้อนมากขึ้นเวลาโมเดลชุดสมมติฐานอิสระอาจจะต้องมีการปรับตัวลดลงเช่นกัน. ประมาณค่าความน่าจะเป็นสูงสุดสอดคล้องกับการประมาณค่าแบบเบย์น่าจะเป็นที่สุดที่ได้รับการกระจายก่อนเครื่องแบบพารามิเตอร์ อันที่จริงสูงสุดประมาณการ posteriori θเป็นพารามิเตอร์ที่เพิ่มความน่าจะเป็นของθได้รับข้อมูลที่ได้รับจากทฤษฎีบทของเบย์: P ( theta | x_1, x_2, ldots, x_n) = frac {f (x_1, x_2 ldots, x_n | theta) P ( theta)} {P (x_1, x_2, ldots, x_n)} ที่ P ( theta) คือการกระจายก่อนสำหรับθพารามิเตอร์และสถานที่ที่ P (x_1, x_2, ldots, x_n) เป็นความน่าจะเป็นของข้อมูลเฉลี่ยเกินพารามิเตอร์ทั้งหมด ตั้งแต่ตัวเป็นอิสระจากθ, คชกรรม estimator จะได้รับโดยการเพิ่ม f (x_1, x_2, ldots, x_n | theta) P ( theta) ที่เกี่ยวข้องกับθ ถ้าเรายังคิดว่าก่อนที่ P ( theta) คือการกระจายเครื่องแบบประมาณแบบเบย์จะได้รับโดยการเพิ่มความน่าจะเป็นฟังก์ชัน f (x_1, x_2, ldots, x_n | theta) ดังนั้นประมาณการคชกรรมสอดคล้องกับประมาณการโอกาสสูงสุดสำหรับการกระจายก่อนเครื่องแบบ P ( theta)

ผลลัพธ์ (ไทย) 3:

สมมติว่ามีตัวอย่าง x1 , x2 , . . . , คริสเตียนของอิสระและกระจายกันสังเกตมาจากการแจกแจงที่มีฟังก์ชันความหนาแน่นความน่าจะเป็นที่ไม่รู้จัก ( ด้วยละ ) มันเป็น แต่สันนิษฐานว่าฟังก์ชันละเป็นของครอบครัวหนึ่งของการแจกแจง f ( {  ด้วย |  θ ) θ∈Θ  } ( ที่θคือเวกเตอร์ของตัวแปรสำหรับครอบครัว เรียกว่าแบบพาราเมตริก ) ,นั่นละ = F ( ด้วย |  θ 0 ) ค่าθ 0 เป็นที่รู้จักและเป็นที่เรียกว่าเป็นค่าจริงของตัวแปรเวกเตอร์ มันเป็นที่พึงปรารถนาที่จะหาวิธี N scriptstyle N หมวก theta ซึ่งจะใกล้เคียงกับค่าθ 0 เป็นไปได้ อย่างใดอย่างหนึ่งหรือทั้งสองตัวแปร สังเกตสีและพารามิเตอร์θสามารถเวกเตอร์

ใช้วิธีความน่าจะเป็นสูงสุดคนแรกกำหนดฟังก์ชันความหนาแน่นร่วมสำหรับการสังเกต ที่เป็นอิสระและการกระจายเหมือนตัวอย่างนี้ร่วมความหนาแน่นฟังก์ชัน f ( x_1 x_2

, , ldots x_n , ; | ; theta ) = f ( x_1 | theta N ครั้ง ) F ( x_2 | theta ) ครั้ง cdots ครั้ง F ( x_n | theta )

ตอนนี้เราดูที่การทำงานจากมุมมองที่แตกต่างกัน โดยพิจารณาจากค่า x1 , x2 , . . .คริสเตียนต้องซ่อม " ตัวแปร " ของฟังก์ชันนี้ ในขณะที่θจะเป็นฟังก์ชันของตัวแปร และอนุญาตให้แตกต่างกันได้อย่างอิสระ ; ฟังก์ชันนี้จะเรียกว่าโอกาส :

mathcal { L } ( theta ; , x_1 N ldots x_n , ) = f ( x_1 x_2 N ldots , x_n , ; | ; theta ) = prod_ { 1 }
n = F ( x_i | theta ) หมายเหตุ

; หมายถึงการแยกระหว่างสองอินพุตอาร์กิวเมนต์ : Theta และใส่ค่าเวกเตอร์ x_1 N ldots x_n

, .ในทางปฏิบัติก็มักจะสะดวกกว่าที่จะทำงานกับลอการิทึมของฟังก์ชันความน่าจะเป็น เรียกว่าล็อกโอกาส :

mathcal { L } ( theta ; , x_1 N ldots x_n , ) = sum_ { = 1 }
n N ใน F ( x_i | theta )

หรือโอกาสเข้าสู่ระบบเฉลี่ย :

ell = หมวก frac1n ใน N mathcal { L }

หมวกกว่าℓแสดงว่ามันคล้ายกับบางประเมินราคา แน่นอน ell scriptstyle หมวกประมาณการคาดว่าบันทึกโอกาสของการสังเกตในรูปแบบ

วิธีความควรจะเป็นสูงสุดประมาณθ 0 โดยการหาค่าของθ N ที่เพิ่ม scriptstyle หมวก ell ( theta ; x ) วิธีการประเมินนี้นิยามประมาณความควรจะเป็นสูงสุด ( mle ) ของθ 0 . . . . . . .

N { theta_ หมวก mathrm mle } { } N { subseteq { theta N ในกระแสใต้น้ำ theta } { operatorname { arg ,แม็กซ์ } } ( theta ell หมวก ; , x_1 N ldots x_n , ) }

. . . . . . . ถ้ามีสูงสุดอยู่แล้ว การประมาณการ mle เดียวกันไม่ว่าเราจะขยายโอกาสหรือความน่าจะเป็นฟังก์ชันบันทึกตั้งแต่เข้าสู่ระบบเป็นอย่างเคร่งครัด monotonically ฟังก์ชันเพิ่ม

สำหรับรุ่นหลาย วิธีความเป็นไปได้สูงสุดสามารถพบได้ในฐานะที่มีฟังก์ชันของข้อมูล x1 , . . . , คริสเตียน สำหรับรุ่นอื่น ๆ อีกมากมาย อย่างไรก็ตามไม่ปิดแบบฟอร์มการแก้ไขมีปัญหาเป็นที่รู้จักกันหรือพร้อมใช้งาน และได้พบตัวเลข mle โดยใช้วิธีการเพิ่มประสิทธิภาพ บางปัญหา อาจจะมีหลายคนประเมินว่า ขยายโอกาส สำหรับปัญหาอื่นๆ ไม่มีความเป็นไปได้สูงสุดประมาณอยู่ ( หมายถึงที่เข้าสู่ระบบเพิ่มโอกาสการทำงานโดยไม่ได้รับค่าซูพรีมัม ) .

ในการแสดงออกข้างต้นเป็นสันนิษฐานว่าข้อมูลที่เป็นอิสระและกันกระจาย วิธีสามารถใช้แต่ตั้งค่าที่กว้างขึ้น , ตราบเท่าที่เป็นไปได้ที่จะเขียนฟังก์ชันความหนาแน่นร่วม f ( x1 , . . . , คริสเตียน | θ ) และพารามิเตอร์ของθมีขอบเขตมิติซึ่งไม่ได้ขึ้นอยู่กับขนาดของกลุ่มตัวอย่างในการ ที่ง่ายกว่า เผื่อจะได้ข้อมูลที่สามารถ ,ดังนั้นความหนาแน่นร่วมเท่ากับ F1 ( x1 | θ ) ด้วย F2 ( x2 | θ ) ด้วย··· Suite ร ( คริสเตียน | θ ) วางวิธีอื่น ตอนนี้เราสมมติว่า การสังเกตแต่ละ Xi มาจากตัวแปรสุ่มที่มีฟังก์ชันการกระจายสายของมันเอง ในคดีที่ซับซ้อนมากขึ้นของตัวแบบอนุกรมเวลาเป็นสมมติฐานอาจต้องลดลงเช่นกัน

ประมาณความควรจะเป็นสูงสุดสอดคล้องกับที่น่าจะเป็นแบบประมาณการได้รับการแจกแจงก่อนในพารามิเตอร์ แน่นอน , สูงสุดประมาณθจากผลไปสู่เหตุเป็นพารามิเตอร์ที่เพิ่มความน่าจะเป็นของθให้ข้อมูลให้โดยทฤษฎีบทของ :

p ( theta | x_1 x_2 , N ldots x_n , ) = frac { f ( x_1 x_2 , N ldots x_n | , theta ) P ( Theta ) } { P ( x_1 x_2 , N ldots x_n , ) }

ที่ P ( theta ) เป็นพารามิเตอร์และการแจกแจงก่อนเพื่อθที่ P ( x_1 x_2 ldots x_n , , , ) คือความเป็นไปได้ของข้อมูลเฉลี่ยมากกว่าพารามิเตอร์ทั้งหมด เนื่องจากส่วนที่เป็นอิสระของθ , ประเมินราคาแบบได้ประสิทธิภาพสูงสุด ( x_1 x_2 F , N ldots x_n | , theta ) P ( theta ) ด้วยความเคารพθ . ถ้าเรายังคิดว่าก่อนที่ P ( theta ) คือการกระจายสม่ำเสมอวิศวกรประเมินราคางานได้เพิ่มฟังก์ชันความน่าจะเป็น f ( x_1 x_2 , N ldots x_n | , theta ) ดังนั้นตัวประมาณเบสอดคล้องกับประมาณการความน่าจะเป็นสูงสุดสำหรับเครื่องแบบก่อนกระจาย P ( theta )