Suppose there is a sample x1, x2, …

Suppose there is a sample x1, x2, …, xn of n independent and identically distributed observations, coming from a distribution with an unknown probability density function f0(·). It is however surmised that the function f0 belongs to a certain family of distributions { f(·| θ), θ ∈ Θ } (where θ is a vector of parameters for this family), called the parametric model, so that f0 = f(·| θ0). The value θ0 is unknown and is referred to as the true value of the parameter vector. It is desirable to find an estimator scriptstylehat heta which would be as close to the true value θ0 as possible. Either or both the observed variables xi and the parameter θ can be vectors.

To use the method of maximum likelihood, one first specifies the joint density function for all observations. For an independent and identically distributed sample, this joint density function is

f(x_1,x_2,ldots,x_n;|; heta) = f(x_1| heta) imes f(x_2| heta) imes cdots imes f(x_n| heta).

Now we look at this function from a different perspective by considering the observed values x1, x2, …, xn to be fixed "parameters" of this function, whereas θ will be the function's variable and allowed to vary freely; this function will be called the likelihood:

mathcal{L}( heta,;,x_1,ldots,x_n) = f(x_1,x_2,ldots,x_n;|; heta) = prod_{i=1}^n f(x_i| heta).

Note ; denotes a separation between the two input arguments: heta and the vector-valued input x_1,ldots,x_n.

In practice it is often more convenient to work with the logarithm of the likelihood function, called the log-likelihood:

lnmathcal{L}( heta,;,x_1,ldots,x_n) = sum_{i=1}^n ln f(x_i| heta),

or the average log-likelihood:

hatell = frac1n lnmathcal{L}.

The hat over ℓ indicates that it is akin to some estimator. Indeed, scriptstylehatell estimates the expected log-likelihood of a single observation in the model.

The method of maximum likelihood estimates θ0 by finding a value of θ that maximizes scriptstylehatell( heta;x). This method of estimation defines a maximum-likelihood estimator (MLE) of θ0 …

{ hat heta_mathrm{mle}} subseteq { underset{ hetainTheta}{operatorname{arg,max}} hatell( heta,;,x_1,ldots,x_n) }.

… if any maximum exists. An MLE estimate is the same regardless of whether we maximize the likelihood or the log-likelihood function, since log is a strictly monotonically increasing function.

For many models, a maximum likelihood estimator can be found as an explicit function of the observed data x1, …, xn. For many other models, however, no closed-form solution to the maximization problem is known or available, and an MLE has to be found numerically using optimization methods. For some problems, there may be multiple estimates that maximize the likelihood. For other problems, no maximum likelihood estimate exists (meaning that the log-likelihood function increases without attaining the supremum value).

In the exposition above, it is assumed that the data are independent and identically distributed. The method can be applied however to a broader setting, as long as it is possible to write the joint density function f(x1, …, xn | θ), and its parameter θ has a finite dimension which does not depend on the sample size n. In a simpler extension, an allowance can be made for data heterogeneity, so that the joint density is equal to f1(x1|θ) · f2(x2|θ) · ··· · fn(xn | θ). Put another way, we are now assuming that each observation xi comes from a random variable that has its own distribution function fi. In the more complicated case of time series models, the independence assumption may have to be dropped as well.

A maximum likelihood estimator coincides with the most probable Bayesian estimator given a uniform prior distribution on the parameters. Indeed, the maximum a posteriori estimate is the parameter θ that maximizes the probability of θ given the data, given by Bayes' theorem:

P( heta|x_1,x_2,ldots,x_n) = frac{f(x_1,x_2,ldots,x_n| heta)P( heta)}{P(x_1,x_2,ldots,x_n)}

where P( heta) is the prior distribution for the parameter θ and where P(x_1,x_2,ldots,x_n) is the probability of the data averaged over all parameters. Since the denominator is independent of θ, the Bayesian estimator is obtained by maximizing f(x_1,x_2,ldots,x_n| heta)P( heta) with respect to θ. If we further assume that the prior P( heta) is a uniform distribution, the Bayesian estimator is obtained by maximizing the likelihood function f(x_1,x_2,ldots,x_n| heta). Thus the Bayesian estimator coincides with the maximum-likelihood estimator for a uniform prior distribution P( heta).

ผลลัพธ์ (ไทย) 1:

สมมติว่า มีตัวอย่าง x1, x2,..., xn n อิสระ และกระจายเหมือนกันสังเกต มาแจกแจงด้วยการ f0(·) ฟังก์ชันความหนาแน่นของความน่าเป็นที่รู้จัก มันเป็นอย่างไรก็ตาม surmised ว่า f0 ฟังก์ชันสมาชิกครอบครัวกระจาย {f(·| θ) θ∈Θ} (θเวกเตอร์ของพารามิเตอร์สำหรับตระกูลนี้), เรียกแบบพาราเมตริก ดังนั้นที่ f0 = f (·| θ0) Θ0 ค่าไม่รู้จัก และจะเรียกว่าคุณค่าแท้จริงของเวกเตอร์พารามิเตอร์ ต้องหา scriptstylehat heta การประมาณการซึ่งจะใกล้เคียงกับ θ0 ค่าความจริงเป็นไป ได้ อย่างใดอย่างหนึ่ง หรือทั้งสองสิสังเกตตัวแปรและพารามิเตอร์θจะได้เวกเตอร์การใช้วิธีการของความเป็นไปได้สูงสุด หนึ่งก่อนระบุฟังก์ชันความหนาแน่นร่วมสำหรับการสังเกต อย่างเป็นอิสระ และกระจายเหมือนกัน ฟังก์ชันความหนาแน่นร่วมนี้เป็น f(x_1,x_2,ldots,x_n;|; heta) = f (x_1| heta) imes f(x_2| heta) imes cdots imes f(x_n| heta) ตอนนี้ เราดูที่ฟังก์ชันนี้จากมุมมองที่แตกต่างกัน โดยพิจารณาสังเกตค่า x1, x2,..., xn ถาวร "พารามิเตอร์" ที่งานนี้ ในขณะที่θจะเป็นตัวแปรของฟังก์ชัน และสามารถเปลี่ยนแปลงได้อย่างอิสระ ฟังก์ชันนี้จะเรียกว่าโอกาส: mathcal{L}( heta,;,x_1,ldots,x_n) = f(x_1,x_2,ldots,x_n;|; heta) = prod_{i=1}^n f(x_i| heta) หมายเหตุ แสดงการแยกระหว่างสองอินพุตอาร์กิวเมนต์: heta และที่ค่าเวกเตอร์อินพุต x_1, ldots, x_nในทางปฏิบัติ จึงมักจะเพิ่มเติมการทำงานกับลอการิทึมของฟังก์ชันความน่าเป็น โอกาสบันทึกที่เรียกว่า: lnmathcal{L}( heta,;,x_1,ldots,x_n) = sum_{i=1}^n ln f(x_i| heta) หรือเฉลี่ยล็อกโอกาส: hatell = frac1n lnmathcal{L } หาดใหญ่ผ่านℓบ่งชี้ว่า มันเป็นเหมือนกับบางประมาณ จริง ๆ scriptstylehatell ประเมินคาดล็อกโอกาสเก็บข้อมูลเดียวในแบบจำลองวิธีการของความเป็นไปได้สูงสุดประมาณ θ0 โดยการหาค่าของθที่วาง scriptstylehatell( heta;x) วิธีการประเมินนี้กำหนดประมาณความเป็นไปได้สูงสุด (พื้นฐาน) θ0 ... subseteq {hat heta_mathrm{mle} } { underset{ hetainTheta}{operatorname{arg,max}} hatell( heta,;,x_1,ldots,x_n) } ...ถ้ามีสูงสุด การประเมินพื้นฐานอยู่เหมือนกันว่าเราขยายโอกาสหรือฟังก์ชันความน่าเป็นล็อก ล็อกเป็น ฟังก์ชันเพิ่ม monotonically อย่างเคร่งครัดสำหรับหลายรูปแบบ การประมาณความเป็นไปได้สูงสุดสามารถพบเป็นฟังก์ชันชัดแจ้งการสังเกตข้อมูล x1,..., xn สำหรับรุ่นอื่น ๆ มากมาย อย่างไรก็ตาม ไม่แก้ไขปัญหา maximization แบบปิดเป็นที่รู้จัก หรือไม่มี และพื้นฐานการได้พบเรียงตามตัวเลขโดยใช้วิธีการปรับให้เหมาะสม สำหรับปัญหา อาจมีการประเมินหลายที่ขยายโอกาสการ สำหรับปัญหาอื่น ๆ ไม่ประเมินความเป็นไปได้สูงสุดแล้ว (หมายความ ว่า ฟังก์ชันความน่าเป็นล็อกเพิ่มขึ้น โดยไม่มีเรือค่า supremum)ในนิทรรศการดังกล่าว ก็จะสรุปข้อมูลเป็นอิสระ และกระจายเหมือนกัน สามารถใช้วิธีการอย่างไรก็ตามการกว้างตั้ง ตราบเท่าที่จำเป็นต้องเขียน f ฟังก์ชันความหนาแน่นร่วม (x1,..., xn | θ), θเป็นพารามิเตอร์มีขนาดจำกัดซึ่งขึ้นอยู่กับตัวอย่างขนาด n ในส่วนขยายที่เรียบง่าย เป็นเบี้ยเลี้ยงสามารถทำสำหรับข้อมูล heterogeneity เพื่อให้ความหนาแน่นร่วมเท่ากับ f1(x1|θ) · f2(x2|θ) ···· · fn(xn | θ) ใส่อีกวิธีหนึ่ง เรามีตอนนี้สมมติว่า สิละสังเกตมาจากตัวแปรสุ่มที่มีตนกระจายฟังก์ชันไร้สาย ในกรณีที่ซับซ้อนมากขึ้นเวลาชุดรุ่น อัสสัมชัญเป็นอิสระได้ยุติลงด้วยประมาณความเป็นไปได้สูงสุดกรุณาประมาณทฤษฎีมากที่สุดน่าเป็นที่รับทราบกระจายสม่ำเสมอบนพารามิเตอร์ แน่นอน posteriori แบบประเมินมากที่สุดคือ θพารามิเตอร์ที่วางน่าเป็นของθที่ให้ข้อมูล กำหนด โดยทฤษฎีบทของ Bayes: P( heta|x_1,x_2,ldots,x_n) = frac{f(x_1,x_2,ldots,x_n| heta)P( heta)}{P(x_1,x_2,ldots,x_n) } ที่ P( heta) เป็นการกระจายก่อน สำหรับθพารามิเตอร์ และความน่าเป็นของข้อมูล averaged ผ่านพารามิเตอร์ทั้งหมด P(x_1,x_2,ldots,x_n) เนื่องจากตัวหารที่เป็นอิสระของθ ประมาณทฤษฎีจะได้รับ โดยการเพิ่ม f(x_1,x_2,ldots,x_n| heta)P( heta) กับθ ถ้าเราต่อไปสมมติว่า P( heta) ก่อนกระจายสม่ำเสมอ ประมาณทฤษฎีจะได้รับ โดยการเพิ่ม f(x_1,x_2,ldots,x_n| heta) ฟังก์ชันความน่าเป็น ดังนั้น ประมาณทฤษฎีกรุณา ด้วยประมาณความเป็นไปได้สูงสุดสำหรับการกระจายก่อนรูป P( heta)

ผลลัพธ์ (ไทย) 3:

สมมติว่ามีตัวอย่าง x1 , x2 , . . . , คริสเตียนของอิสระและกระจายกันสังเกตมาจากการแจกแจงที่มีฟังก์ชันความหนาแน่นความน่าจะเป็นที่ไม่รู้จัก ( ด้วยละ ) มันเป็น แต่สันนิษฐานว่าฟังก์ชันละเป็นของครอบครัวหนึ่งของการแจกแจง f ( {  ด้วย |  θ ) θ∈Θ  } ( ที่θคือเวกเตอร์ของตัวแปรสำหรับครอบครัว เรียกว่าแบบพาราเมตริก ) ,นั่นละ = F ( ด้วย |  θ 0 ) ค่าθ 0 เป็นที่รู้จักและเป็นที่เรียกว่าเป็นค่าจริงของตัวแปรเวกเตอร์ มันเป็นที่พึงปรารถนาที่จะหาวิธี N scriptstyle N หมวก theta ซึ่งจะใกล้เคียงกับค่าθ 0 เป็นไปได้ อย่างใดอย่างหนึ่งหรือทั้งสองตัวแปร สังเกตสีและพารามิเตอร์θสามารถเวกเตอร์

ใช้วิธีความน่าจะเป็นสูงสุดคนแรกกำหนดฟังก์ชันความหนาแน่นร่วมสำหรับการสังเกต ที่เป็นอิสระและการกระจายเหมือนตัวอย่างนี้ร่วมความหนาแน่นฟังก์ชัน f ( x_1 x_2

, , ldots x_n , ; | ; theta ) = f ( x_1 | theta N ครั้ง ) F ( x_2 | theta ) ครั้ง cdots ครั้ง F ( x_n | theta )

ตอนนี้เราดูที่การทำงานจากมุมมองที่แตกต่างกัน โดยพิจารณาจากค่า x1 , x2 , . . .คริสเตียนต้องซ่อม " ตัวแปร " ของฟังก์ชันนี้ ในขณะที่θจะเป็นฟังก์ชันของตัวแปร และอนุญาตให้แตกต่างกันได้อย่างอิสระ ; ฟังก์ชันนี้จะเรียกว่าโอกาส :

mathcal { L } ( theta ; , x_1 N ldots x_n , ) = f ( x_1 x_2 N ldots , x_n , ; | ; theta ) = prod_ { 1 }
n = F ( x_i | theta ) หมายเหตุ

; หมายถึงการแยกระหว่างสองอินพุตอาร์กิวเมนต์ : Theta และใส่ค่าเวกเตอร์ x_1 N ldots x_n

, .ในทางปฏิบัติก็มักจะสะดวกกว่าที่จะทำงานกับลอการิทึมของฟังก์ชันความน่าจะเป็น เรียกว่าล็อกโอกาส :

mathcal { L } ( theta ; , x_1 N ldots x_n , ) = sum_ { = 1 }
n N ใน F ( x_i | theta )

หรือโอกาสเข้าสู่ระบบเฉลี่ย :

ell = หมวก frac1n ใน N mathcal { L }

หมวกกว่าℓแสดงว่ามันคล้ายกับบางประเมินราคา แน่นอน ell scriptstyle หมวกประมาณการคาดว่าบันทึกโอกาสของการสังเกตในรูปแบบ

วิธีความควรจะเป็นสูงสุดประมาณθ 0 โดยการหาค่าของθ N ที่เพิ่ม scriptstyle หมวก ell ( theta ; x ) วิธีการประเมินนี้นิยามประมาณความควรจะเป็นสูงสุด ( mle ) ของθ 0 . . . . . . .

N { theta_ หมวก mathrm mle } { } N { subseteq { theta N ในกระแสใต้น้ำ theta } { operatorname { arg ,แม็กซ์ } } ( theta ell หมวก ; , x_1 N ldots x_n , ) }

. . . . . . . ถ้ามีสูงสุดอยู่แล้ว การประมาณการ mle เดียวกันไม่ว่าเราจะขยายโอกาสหรือความน่าจะเป็นฟังก์ชันบันทึกตั้งแต่เข้าสู่ระบบเป็นอย่างเคร่งครัด monotonically ฟังก์ชันเพิ่ม

สำหรับรุ่นหลาย วิธีความเป็นไปได้สูงสุดสามารถพบได้ในฐานะที่มีฟังก์ชันของข้อมูล x1 , . . . , คริสเตียน สำหรับรุ่นอื่น ๆ อีกมากมาย อย่างไรก็ตามไม่ปิดแบบฟอร์มการแก้ไขมีปัญหาเป็นที่รู้จักกันหรือพร้อมใช้งาน และได้พบตัวเลข mle โดยใช้วิธีการเพิ่มประสิทธิภาพ บางปัญหา อาจจะมีหลายคนประเมินว่า ขยายโอกาส สำหรับปัญหาอื่นๆ ไม่มีความเป็นไปได้สูงสุดประมาณอยู่ ( หมายถึงที่เข้าสู่ระบบเพิ่มโอกาสการทำงานโดยไม่ได้รับค่าซูพรีมัม ) .

ในการแสดงออกข้างต้นเป็นสันนิษฐานว่าข้อมูลที่เป็นอิสระและกันกระจาย วิธีสามารถใช้แต่ตั้งค่าที่กว้างขึ้น , ตราบเท่าที่เป็นไปได้ที่จะเขียนฟังก์ชันความหนาแน่นร่วม f ( x1 , . . . , คริสเตียน | θ ) และพารามิเตอร์ของθมีขอบเขตมิติซึ่งไม่ได้ขึ้นอยู่กับขนาดของกลุ่มตัวอย่างในการ ที่ง่ายกว่า เผื่อจะได้ข้อมูลที่สามารถ ,ดังนั้นความหนาแน่นร่วมเท่ากับ F1 ( x1 | θ ) ด้วย F2 ( x2 | θ ) ด้วย··· Suite ร ( คริสเตียน | θ ) วางวิธีอื่น ตอนนี้เราสมมติว่า การสังเกตแต่ละ Xi มาจากตัวแปรสุ่มที่มีฟังก์ชันการกระจายสายของมันเอง ในคดีที่ซับซ้อนมากขึ้นของตัวแบบอนุกรมเวลาเป็นสมมติฐานอาจต้องลดลงเช่นกัน

ประมาณความควรจะเป็นสูงสุดสอดคล้องกับที่น่าจะเป็นแบบประมาณการได้รับการแจกแจงก่อนในพารามิเตอร์ แน่นอน , สูงสุดประมาณθจากผลไปสู่เหตุเป็นพารามิเตอร์ที่เพิ่มความน่าจะเป็นของθให้ข้อมูลให้โดยทฤษฎีบทของ :

p ( theta | x_1 x_2 , N ldots x_n , ) = frac { f ( x_1 x_2 , N ldots x_n | , theta ) P ( Theta ) } { P ( x_1 x_2 , N ldots x_n , ) }

ที่ P ( theta ) เป็นพารามิเตอร์และการแจกแจงก่อนเพื่อθที่ P ( x_1 x_2 ldots x_n , , , ) คือความเป็นไปได้ของข้อมูลเฉลี่ยมากกว่าพารามิเตอร์ทั้งหมด เนื่องจากส่วนที่เป็นอิสระของθ , ประเมินราคาแบบได้ประสิทธิภาพสูงสุด ( x_1 x_2 F , N ldots x_n | , theta ) P ( theta ) ด้วยความเคารพθ . ถ้าเรายังคิดว่าก่อนที่ P ( theta ) คือการกระจายสม่ำเสมอวิศวกรประเมินราคางานได้เพิ่มฟังก์ชันความน่าจะเป็น f ( x_1 x_2 , N ldots x_n | , theta ) ดังนั้นตัวประมาณเบสอดคล้องกับประมาณการความน่าจะเป็นสูงสุดสำหรับเครื่องแบบก่อนกระจาย P ( theta )