Abstract:The Maximum Likelihood Est

Abstract:
The Maximum Likelihood Estimator (MLE) is widely used in estimating information measures, and involves “plugging-in” the empirical distribution of the data to estimate a given functional of the unknown distribution. In this work we propose a general framework and procedure to analyze the nonasymptotic performance of the MLE in estimating functionals of discrete distributions, under the worst-case mean squared error criterion. We show that existing theory is insufficient for analyzing the bias of the MLE, and propose to apply the theory of approximation using positive linear operators to study this bias. The variance is controlled using the well-known tools from the literature on concentration inequalities. Our techniques completely characterize the maximum L2 risk incurred by the MLE in estimating the Shannon entropy H(P) = Σi=1S -piln pi, and Fα(P) = Σi=1Spiα up to a multiplicative constant. As a corollary, for Shannon entropy estimation, we show that it is necessary and sufficient to have n ≪ S observations for the MLE to be consistent, where S represents the support size. In addition, we obtain that it is necessary and sufficient to consider n ≪ S1/α samples for the MLE to consistently estimate Fα(P); 0

ผลลัพธ์ (ไทย) 1:

บทคัดย่อ:ประมาณความเป็นไปได้สูงสุด (MLE) ถูกใช้ในการประเมินข้อมูลมาตรการ และ "เสียบใน" การกระจายข้อมูลการประเมินเชิงประจักษ์ที่เกี่ยวข้องกับการรับงานของการแจกแจงที่ไม่รู้จัก ในงานนี้ เราเสนอกรอบทั่วไปและขั้นตอนการวิเคราะห์ประสิทธิภาพของพื้นฐานในการประมาณ functionals ของการกระจายแบบแยก nonasymptotic ภายใต้การหยาบ ๆ หมายถึง เงื่อนไขข้อผิดพลาดที่ยกกำลังสอง เราแสดงว่า ทฤษฎีที่มีอยู่ไม่เพียงพอสำหรับวิเคราะห์อคติของการพื้นฐาน และเสนอการใช้ทฤษฎีการประมาณโดยใช้ตัวดำเนินการเชิงบวกในการศึกษานี้อคติ ผลต่างจะถูกควบคุมโดยใช้เครื่องมือที่รู้จักจากวรรณกรรมในความเข้มข้นไม่เท่าเทียมกัน เทคนิคของเราสมบูรณ์ลักษณะเสี่ยง L2 สูงสุดที่เกิดขึ้น โดยพื้นฐานในการประมาณเอนโทรปีของแชนนอน H(P) = Σi = 1S pi - piln และ Fα(P) = Σi = 1Spiα ถึงคูณค่าคง เป็นแบบ corollary สำหรับการประมาณค่าเอนโทรปีของแชนนอน เราสามารถแสดงได้ว่า เป็นความจำเป็น และเพียงพอที่จะมีข้อสังเกต n ≪ S สำหรับพื้นฐานเพื่อให้สอดคล้อง S แสดงถึงขนาดสนับสนุน นอกจากนี้ เราได้รับก็เพียงพอ ต่อการพิจารณา n ≪ตัวอย่าง S1/α สำหรับพื้นฐานอย่างสม่ำเสมอประมาณ Fα(P) 0 < α < 1 estimators อัตราที่เหมาะสม.นีโอทั้งสองปัญหาต้อง S/ln S และ S1/α / ln S ตัวอย่าง ซึ่งก็หมายความว่าพื้นฐานเหมาะสมย่อยอย่างเคร่งครัด เมื่อ 1 < Α < 3/2 เราแสดงว่า อัตรา L2 บรรจบกันสำหรับพื้นฐาน n-2(α-1) สำหรับขนาดสนับสนุนอนันต์ ในขณะอัตราการผสมของ L2 (n ln n)-2(α-1) เมื่อα≥ 3/2 พื้นฐานการให้ บรรจบกัน L2 ที่เหมาะสมผสมอัตรา n-1 คำนึงถึงขนาดการสนับสนุน

ผลลัพธ์ (ไทย) 2:

บทคัดย่อ:
ความน่าจะเป็นสูงสุดประมาณการ (MLE) ถูกนำมาใช้กันอย่างแพร่หลายในการประเมินมาตรการข้อมูลและเกี่ยวข้องกับ "เสียบใน" การกระจายเชิงประจักษ์ของข้อมูลที่จะประเมินให้การทำงานของการกระจายที่ไม่รู้จัก ในงานนี้เรานำเสนอกรอบการทำงานทั่วไปและขั้นตอนในการวิเคราะห์ผลการดำเนินงานของ nonasymptotic MLE ในการประมาณ functionals ของการกระจายต่อเนื่องภายใต้เลวร้ายที่สุดกรณีหมายถึงเกณฑ์ข้อผิดพลาด Squared เราแสดงให้เห็นว่าทฤษฎีที่มีอยู่ไม่เพียงพอสำหรับการวิเคราะห์ความลำเอียงของเอมิลี่และนำเสนอต่อที่ใช้ทฤษฎีของการประมาณโดยใช้ประกอบการเชิงเส้นในเชิงบวกในการศึกษานี้มีอคติ ความแปรปรวนจะถูกควบคุมโดยใช้เครื่องมือที่รู้จักกันดีจากหนังสือที่เกี่ยวกับความไม่เท่าเทียมกันความเข้มข้น เทคนิคของเราสมบูรณ์ลักษณะความเสี่ยง L2 สูงสุดเกิดขึ้นโดยเอมิลี่ในการประมาณนอนส์เอนโทรปี H (P) = = Σi 1S -piln Pi และFα (P) = = Σi1Spiαถึงคงคูณ ในฐานะที่เป็นข้อพิสูจน์สำหรับแชนนอนประมาณค่าเอนโทรปีของเราแสดงให้เห็นว่ามันเป็นสิ่งที่จำเป็นและเพียงพอที่จะมี n « S สังเกตสำหรับ MLE เพื่อให้สอดคล้องที่ S หมายถึงขนาดการสนับสนุน นอกจากนี้เราได้รับว่ามันเป็นสิ่งที่จำเป็นและเพียงพอที่จะพิจารณา n « S1 ตัวอย่าง / αสำหรับ MLE อย่างต่อเนื่องประเมินFα (P); 0 <; α <; 1. อัตราการประมาณค่าที่ดีที่สุดสำหรับ Minimax ปัญหาทั้งสองต้องใช้ S / S LN และ S1 / α / S LN ตัวอย่างซึ่งหมายถึงว่า MLE เป็นอย่างเคร่งครัดย่อยที่ดีที่สุด เมื่อ 1 <; α <; 3/2 เราแสดงให้เห็นว่าอัตรา L2 สูงสุดของการลู่สำหรับ MLE คือ N-2 (α-1) สำหรับขนาดของการสนับสนุนที่ไม่มีที่สิ้นสุดในขณะที่อัตรา Minimax L2 คือ (n LN n) -2 (α-1) เมื่อแอลฟา≥ 3/2