3 Proposed ridge parameterHoerl and

3 Proposed ridge parameter
Hoerl and Kennard (1970a) conclude that, bias and total variance of the parameter estimates are, respectively monotonically increasing and decreasing functions of ridge parameters. They also suggested a value of ith ridge parameter ki(HK) used in GRR given in (6). Hoerl et al. (1975) suggests the modification in ki(HK) used in ORR which performs fairly well. Lawless and Wang (1976) suggest the modification in ki(HK) to reduce the bias by multiplying the ith eigen value λi to the denominator of (6) to keep the variation depends on the strength of the multicollinearity. Their estimator reduces the bias but results in greater total variance of the parameter estimates.

In this article, we suggest a estimator that takes a little bias than estimator given by Hoerl et al. (1975) and substantially reduces the total variance of the parameter estimates than the total variance using estimator given by Lawless and Wang (1976), thereby improving the mean square error of estimation and prediction. We suggest the modification by multiplying λmax/2 to the denominator of (6). The suggested estimator is:

equation28
where λmax is the largest eigen value of X′X.

This leads to the denominator of the alternative estimator given by (28) being greater than that of Hoerl and Kennard (1970a) by λmax/2. Hence, we can write


It clearly indicates that our suggested estimator lies in between the estimators given by Hoerl et al., 1975 and Lawless and Wang, 1976. Kibria (2003) suggested optimal ridge parameters by proposing new ridge parameters by modifying the quantity . By adopting algorithms outlined in Kibria (2003), we propose new methods to determine ridge parameters in case of ORR for the ridge parameter k as below,

equation29
equation30
equation31
equation32
From (29), (30), (31) and (30) is the ith element of and is the OLS estimator of σ2, i.e. .


Result 2 If λmax is close to ‘p’ then k4(AD) ≅ 2k14, and if λmax is close to ‘1’ then k4(AD) ≅ 2k1.

Hoerl et al. (1975) have shown that . Using this, inequality from result 1, . Hence k4(AD) satisfies the upper bound of ridge parameter stated by Hoerl and Kennard (1970a).

Proposed estimator is examined by means of a simulation technique which we present in the next section.

4 Performance of the proposed ridge parameter
In this section, we examined the performance of the ridge estimator using the proposed ridge parameters in both ORR and GRR over the different ridge parameters (k) reviewed in this article. We examined the average MSE (AMSE) ratio of the ridge estimator using proposed ridge parameters and other ridge parameters over OLS estimator. Performances of new ridge estimators given in (28), (29), (30), (31) and (32) are studied in two parts. In part A, performance for proposed ridge estimators is evaluated through simulation in case of ORR. Whereas, in part B a simulation study is carried out for evaluating the performance of proposed ridge estimators in case of GRR.

4.1 Part A
We consider the true model as Y = Xβ + ε. Here ε follows a normal distribution N(0, σ2In) and the explanatory variables are generated (see Batah et al., 2008) from


where uij is an independent standard normal random number and ρ2 is the correlation between xij and for j, j′ < p and j ≠ j′. j, j′ = 1,2, …, p. When j or j′ = p, the correlation will be ‘ρ’. Here we consider predictor variables p = 4 and ρ = 0.9. These variables are standardized such that X′X is in the correlation form and it is used for the generation of Y with β = (2,3,5, 1)′. We have simulated the data with sample sizes n = 20, 50 and 100. The variance of the error terms is taken as σ2 = 1, 5, 10 and 25. Ridge estimates are computed using different ridge parameters given in
The MSE of such ridge regression parameters are obtained using (12). This experiment is repeated 2000 times and obtains the AMSE. Firstly, we computed the AMSE ratios (AMSE /AMSE ( ) of OLS estimator over different estimators for various values of triplet (ρ, n, σ2) and reported in Table 1. We consider the method that leads to the maximum AMSE ratio to the best from the MSE point of view.

Table 1. Ratio of AMSE of OLS over various ridge estimators for different ‘k’.

In the following figure (Fig. 1), we represent the same values reported in Table 1 Here we noted that values of AMSE ratios only for k1,k5,k14 and k4(AD) are represented because these values for remaining choice of ‘k’ have less importance for the comparative study. Here input values are n, ρ and σ2. These input values are ordered according to the increase of values. For fixed value of ‘ρ’ changes values of ‘n’ and for fixed values of (ρ, n) changes the values of σ2. There are 12 sets of (ρ, n, σ2) values. These are arranged as (0.9,20,1), (0.9,20,5), …, (0.9,100,25) and it is numbered as 1, 2, …, 12, respectively.


Figure 1. Ratio of AMSE of OLS over various ridge estimators for different ‘k′ (p = 4, β = (2,3,5,1)′ and ρ = 0.9).

Same procedure for another choice of p = 3 and β = (3,1, 5)′ is done and AMSE ratios are computed and represented in Fig. 2.


Figure 2. Ratio of AMSE of OLS over various ridge estimators for different ‘k’ (p = 3, β = (3,1,5)′ and ρ = 0.9).

From Table 1, Figure 1 and Figure 2, we observe that the performance of proposed ridge parameters k1(AD),k2(AD),k3(AD) and k4(AD) is better than OLS. Particularly k4(AD) performs equivalently and is little better than ridge parameters proposed by Hoerl et al., 1975 and Dorugade and Kashid, 2010 whereas, it gives better performance than other ridge parameters reviewed in this article for all combinations of correlation between predictors (ρ), sample size (n) and variance of the error term (σ2) used in this simulation study.

ผลลัพธ์ (ไทย) 1:

พารามิเตอร์ริดจ์ Proposed 3Hoerl และ Kennard (1970a) สรุปว่า ความโน้มเอียงและความแปรปรวนรวมของการประเมินพารามิเตอร์ ตามลำดับ monotonically เพิ่ม และลดฟังก์ชันพารามิเตอร์ริดจ์ พวกเขายังแนะนำค่าระยะริดจ์พารามิเตอร์ ki(HK) ใช้ใน GRR ใน (6) Hoerl et al. (1975) ชี้ให้เห็นการเปลี่ยนแปลงใน ki(HK) ใช้ใน ORR ซึ่งทำค่อนข้างดี มร.เจอราร์ดเมสทราเยต์และวัง (1976) แนะนำการเปลี่ยนแปลงใน ki(HK) เพื่อลดความโน้มเอียงที่คูณระยะ λi ค่า eigen ให้ตัวหารของ (6) เพื่อให้การเปลี่ยนแปลงขึ้นอยู่กับความแรงของการ multicollinearity ประมาณการลดอคติแต่ผลลัพธ์มากกว่าผลต่างรวมของการประเมินพารามิเตอร์ในบทความนี้ เราขอแนะนำประมาณการที่ใช้อคติน้อยกว่าประมาณการที่กำหนดโดย Hoerl et al. (1975) และลดความแปรปรวนรวมของการประเมินพารามิเตอร์มากกว่าผลต่างรวมใช้ประมาณ Lawless และวัง (1976), เพื่อปรับปรุงข้อผิดพลาดค่าเฉลี่ยกำลังสองของการประเมินและคาดการณ์มาก เราขอแนะนำการเปลี่ยนแปลงคูณ λmax/2 ส่วนของ (6) ประมาณที่แนะนำคือ:equation28ที่ λmax เป็นค่า eigen ที่ใหญ่ที่สุดของ X′Xนี้นำไปสู่ส่วนของประมาณอื่นที่กำหนด (28) มีค่ามากกว่าที่ Hoerl และ Kennard (1970a) โดย λmax/2 ดังนั้น เราสามารถเขียนมันชัดเจนระบุว่า ประมาณการของเราแนะนำอยู่ระหว่าง estimators กำหนด โดย Hoerl et al., 1975 และ Lawless และ วัง 1976 Kibria (2003) ริดจ์เหมาะสมแนะนำพารามิเตอร์ โดยเสนอใหม่ริดจ์พารามิเตอร์ โดยการปรับเปลี่ยนปริมาณ โดยการใช้อัลกอริทึมที่อธิบายไว้ใน Kibria (2003), เราได้เสนอวิธีการใหม่เพื่อกำหนดพารามิเตอร์ริดจ์ในกรณี ORR สำหรับริดจ์พารามิเตอร์ k เป็นด้านล่างequation29equation30equation31equation32จาก (29), (30), (31) และ (30) เป็นองค์ประกอบของระยะ และเป็นประมาณ OLS ของ σ2 เช่นกันผล 2 ถ้ามี λmax 'p' แล้ว k4(AD) ≅ 2 k 14 และ λmax เป็น '1' แล้ว k4(AD) ≅ 2 k 1Hoerl et al. (1975) ได้แสดงที่ ใช้นี้ อสมการจากผล 1 ดังนั้น k4(AD) ตรงขอบบนของพารามิเตอร์ริดจ์ที่ระบุ โดย Hoerl และ Kennard (1970a)ประมาณการนำเสนอเป็นการตรวจสอบโดยใช้เทคนิคการจำลองที่เรานำเสนอในส่วนถัดไป4 ประสิทธิภาพของพารามิเตอร์ริดจ์เสนอในส่วนนี้ เราตรวจสอบประสิทธิภาพของประมาณริดจ์ที่ใช้พารามิเตอร์ริดจ์เสนอ ORR และ GRR ผ่านพารามิเตอร์ต่าง ๆ ริดจ์ (k) ทบทวนในบทความนี้ เราตรวจสอบ MSE (AMSE) อัตราส่วนเฉลี่ยของประมาณริดจ์โดยใช้พารามิเตอร์เสนอริดจ์และพารามิเตอร์อื่น ๆ ริดจ์ประมาณ OLS ของ estimators ริดจ์ใหม่ที่กำหนดใน (28), (29), (30), (31) (32) ได้ศึกษาในส่วนที่สอง ส่วน A ประเมินประสิทธิภาพสำหรับ estimators ริดจ์เสนอผ่านการจำลองกรณี ORR ในขณะที่ ในส่วน B การจำลองศึกษา จะดำเนินการประเมินประสิทธิภาพของ estimators ริดจ์เสนอกรณี GRR4.1 ส่วน Aเราพิจารณาแบบเป็นจริงเป็น Y = Xβ + ε นี่εตามการกระจายปกติ N (0, σ2In) และตัวแปรอธิบายสร้างขึ้น (ดู Batah et al., 2008) จากที่ uij หมายอิสระมาตรฐานปกติสุ่มเลข และ ρ2 เป็นความสัมพันธ์ ระหว่าง xij และ j, j′ < j′ ≠ p และเจ j, j′ = 1, 2,..., p เมื่อเจหรือ j′ = p สหสัมพันธ์จะ 'ρ' ที่นี่เราพิจารณาตัวแปร predictor p = 4 และρ = 0.9 ตัวแปรเหล่านี้มีมาตรฐานที่ X′X ในแบบฟอร์มความสัมพันธ์ และใช้สำหรับการสร้างด้วยβ Y = (2,3,5, 1) ′ เราได้จำลองข้อมูล ด้วยตัวอย่างขนาด n = 20, 50 และ 100 ความแปรปรวนของข้อผิดพลาดจะถูกใช้เป็น σ2 = 1, 5, 10 และ 25 ริดจ์ประเมินจะคำนวณโดยใช้พารามิเตอร์ริดจ์ที่แตกต่างกันใน MSE พารามิเตอร์ถดถอยริดจ์ดังกล่าวจะได้รับใช้ (12) การทดลองนี้ซ้ำเวลา 2000 และได้รับการ AMSE ประการแรก เราคำนวณอัตราส่วน AMSE (AMSE /AMSE ()ของ OLS ประมาณกว่า estimators ต่าง ๆ สำหรับค่าต่าง ๆ ของ triplet (ρ n, σ2) และรายงานในตารางที่ 1 เราพิจารณาวิธีการที่นำไปสู่อัตราส่วน AMSE สูงที่สุดจาก MSE มองตารางที่ 1 อัตราส่วนของ AMSE OLS ผ่าน estimators ริดจ์ต่าง ๆ สำหรับแตกต่าง 'k' ในตัวเลขต่อไปนี้ (Fig. 1), เราเป็นตัวแทนค่าในตาราง 1 นี่เราตั้งข้อสังเกตว่า จะแสดงค่าของอัตราส่วน AMSE สำหรับ k1, k5, k14 และ k4(AD) เท่านั้นเนื่องจากค่าเหล่านี้สำหรับตัวเลือกที่เหลือของ 'k' มีความสำคัญน้อยสำหรับการศึกษาเปรียบเทียบ ที่นี่ค่านำเข้าที่มี n ρ และ σ2 ค่าเหล่านี้ป้อนข้อมูลไม่เรียงลำดับตามการเพิ่มขึ้นของค่า สำหรับค่าของ 'ρ' เปลี่ยนแปลงค่าคงของเอ็น และการคงค่าของการเปลี่ยนแปลง (ρ n) ค่าของ σ2 มี 12 ชุด (ρ n, σ2) ค่า เหล่านี้จัดเป็น (0.9,20,1), (0.9,20,5),..., (0.9,100,25) และจะมีตัวเลข 1, 2,... 12 ตามลำดับรูปที่ 1 อัตราส่วนของ AMSE OLS ผ่าน estimators ริดจ์ต่าง ๆ สำหรับแตกต่าง ' k′ (p = 4 β =′และρ (2,3,5,1) = 0.9)ขั้นตอนเดียวกันสำหรับอีกทางเลือกของ p = 3 และβ = (3,1, 5) ′เสร็จ และอัตราส่วน AMSE จะคำนวณ และแสดงใน Fig. 2รูปที่ 2 อัตราส่วนของ AMSE OLS ผ่าน estimators ริดจ์ต่าง ๆ สำหรับแตกต่าง 'k' (p = 3 β =′และρ (3,1,5) = 0.9)จากตารางที่ 1 รูปที่ 1 และรูปที่ 2 ที่เราสังเกตพบว่า ประสิทธิภาพของริดจ์เสนอพารามิเตอร์ k1(AD),k2(AD),k3(AD) และ k4(AD) ดีกว่า OLS ดำเนินการโดยเฉพาะอย่างยิ่ง k4(AD) equivalently และมีน้อยกว่าพารามิเตอร์ริดจ์ที่เสนอ โดย Hoerl et al., 1975 และ Dorugade และ Kashid, 2010 โดย ให้ดีประสิทธิภาพกว่าพารามิเตอร์ริดจ์ทบทวนในบทความนี้สำหรับชุดทั้งหมดของความสัมพันธ์ระหว่าง predictors (ρ), ขนาดตัวอย่าง (n) และความแปรปรวนของคำผิดพลาด (σ2) ที่ใช้ในการศึกษานี้การจำลอง

ผลลัพธ์ (ไทย) 3:

3 เสนอริดจ์พารามิเตอร์และ
hoerl เคนนาร์ด ( 1970a ) สรุปได้ว่า อคติและความแปรปรวนรวมพารามิเตอร์ประมาณการตามลำดับฟังก์ชันเพิ่มทางเดียวและลดการทำงานของพารามิเตอร์ ริดจ์ พวกเขายังชี้ให้เห็นคุณค่าของอ. คิค่าพารามิเตอร์ริดจ์ ( HK ) ใช้ในแฮ่ที่ระบุใน ( 6 ) hoerl et al . ( 1975 ) ได้เสนอการปรับเปลี่ยนในกิ ( HK ) ใช้ใน ออร์ซึ่งมีประสิทธิภาพค่อนข้างดีกฎหมายและวัง ( 1976 ) แนะนำให้ปรับเปลี่ยนกิ ( HK ) เพื่อลดอคติ โดยการคูณค่าλ ith eigen ให้ตัวส่วนของ ( 6 ) เพื่อให้การเปลี่ยนแปลงขึ้นอยู่กับความแข็งแรงของค่า . ประมาณการของพวกเขาลดอคติ แต่ผลของความแปรปรวนทั้งหมดมากกว่าประมาณการค่า

ในบทความนี้เราแนะนำให้ใช้ อคติ น้อย กว่า ประมาณการว่าประมาณที่ได้รับจาก hoerl et al . ( 1975 ) และสามารถลดความแปรปรวนทั้งหมดของพารามิเตอร์ทั้งหมดประมาณกว่าความแปรปรวนใช้ประมาณการที่ได้รับจากกฎหมายและวัง ( 1976 ) , งบปรับปรุงค่าเฉลี่ยความคลาดเคลื่อนกำลังสองของการประเมิน และพยากรณ์ เราขอแนะนำให้แก้ไขโดยการนำλแม็กซ์ / 2 ตัวส่วนของ ( 6 )าประมาณ :

equation28
ที่λแม็กซ์เป็นที่ใหญ่ที่สุด eigen ค่า X นั้น X .

ทำให้เกิดข้อบกพร่องของการประมาณการให้ ( 28 ) เป็นมากกว่าที่ hoerl และ เคนนาร์ด ( 1970a ) โดยλแม็กซ์ / 2 ดังนั้นเราสามารถเขียน


มันชัดเจนบ่งชี้ว่าประมาณการของเราแนะนำให้อยู่ระหว่างประมาณ hoerl et al . , 1975 และกฎหมายและวัง , 1976 .kibria ( 2003 ) ให้เหมาะสม โดยเสนอพารามิเตอร์พารามิเตอร์สันคันใหม่โดยการปรับเปลี่ยนปริมาณ โดยการใช้อัลกอริทึมที่ระบุไว้ใน kibria ( 2003 ) ได้เสนอวิธีการใหม่เพื่อตรวจสอบพารามิเตอร์ริดจ์กรณีที่ออร์สำหรับริดจ์พารามิเตอร์ K เป็นด้านล่าง equation29





equation30 equation31 equation32 ( 29 ) ( 30 ) ( 31 ) และ ( 30 ) เป็นองค์ประกอบ และมีอ. ประมาณการของσน้อยที่สุด 2 .. .

" ถ้าλแม็กซ์ใกล้ ' แล้วทาง ( AD ) ≅ 2k14 และถ้าλแม็กซ์ใกล้ ' 1 ' แล้วทาง ( AD ) ≅ 2k1

hoerl et al . ( 1975 ) พบว่า ใช้นี้ , ความไม่เท่าเทียมกันจากผล 1 . ดังนั้นทาง ( AD ) ตรงส่วนบนของริดจ์พารามิเตอร์ที่ระบุไว้และ hoerl เคนนาร์ด ( 1970a ) .

เสนอประมาณการได้รับการตรวจสอบโดยวิธีการของจำลองที่เรานำเสนอในตอนต่อไป

4 ประสิทธิภาพของเสนอริดจ์พารามิเตอร์
ในส่วนนี้เราตรวจสอบประสิทธิภาพของตัวประมาณริดจ์ริดจ์พารามิเตอร์การเสนอทั้งในและผ่านพารามิเตอร์ริดจ์ฟีลด์แฮ่ๆ ( k ) ดูในบทความนี้ เราตรวจสอบ MSE เฉลี่ย ( AMSE ) อัตราส่วนของสันเขาประมาณการใช้พารามิเตอร์และพารามิเตอร์อื่น ๆที่เสนอแนวสันเขาเหนือและประเมินราคาการแสดงของตัวประมาณริดจ์ใหม่ให้ ( 28 ) , ( 29 ) ( 30 ) ( 31 ) และ ( 32 ) ออกเป็น 2 ส่วน ในส่วนผลประกอบการของตัวประมาณริดจ์ ประเมิน ผ่านการเสนอในกรณีของออร์ . ขณะที่ในส่วน B มีการจำลองข้อมูลเพื่อประเมินประสิทธิภาพของตัวประมาณริดจ์เสนอกรณี แฮ่

.
ส่วนเราพิจารณาจริงแบบเป็น y = x εบีตา .ที่นี่εตามการแจกแจงปกติ N ( 0 , σ 2in ) และตัวแปรอธิบายจะถูกสร้างขึ้น ( ดู batah et al . , 2008 ) จาก


ที่ uij เป็นอิสระมาตรฐานปกติ และρสุ่มหมายเลข 2 คือความสัมพันธ์ระหว่าง xij และ J J J J ≠ < P ’และ’ . เจ เจ นั้น = 1 , 2 , . . . , หน้าเมื่อเจ หรือ เจ นั้น = P , ความสัมพันธ์จะρ ' ' ที่นี่เราจะพิจารณาตัวแปร p = 4 และρ = 0.9ตัวแปรเหล่านี้มีมาตรฐานเช่นว่า X นั้น X ในรูปแบบ ความสัมพันธ์ และมันถูกใช้สำหรับการสร้าง Y = บีตา ( 2,3,5 , 1 ) นั้น . เราได้จำลองข้อมูลด้วยขนาดตัวอย่าง n = 20 , 50 และ 100 ความแปรปรวนของความคลาดเคลื่อนแง่ถูกจับเป็นσ 2 = 1 , 5 , 10 และ 25 สันเขาประมาณการคำนวณที่แตกต่างกันโดยใช้พารามิเตอร์ที่ระบุใน
สันเขาMSE ของจ๋าตัวที่ได้ใช้ ( 12 ) การทดลองนี้ซ้ำ 2 , 000 ครั้ง และได้รับค่า AMSE ประการแรก เราคำนวณวิธีอัตราส่วน ( AMSE / วิธี ( ) วิธีประมาณค่าประมาณการทางแตกต่างกันต่างๆของแฝดสาม ( ρ , N , σ 2 ) และการรายงานในตารางที่ 1 เราพิจารณาวิธีการที่นำไปสู่วิธีอัตราส่วนสูงสุดที่ดีที่สุดจากจุดของมุมมอง ( .

ตารางที่ 1 . อัตราส่วนของค่า AMSE ของวิธีตัวประมาณริดจ์ต่างๆแตกต่างกันไป ' K '

ในรูปต่อไปนี้ ( รูปที่ 1 ) เราเป็นตัวแทนเหมือนกันค่ารายงานตารางที่ 1 นี่เราสังเกตว่าค่าของอัตราส่วนค่า AMSE เพียงเสียใจและ , K1 , k14 แห่ง ( AD ) แทน เพราะค่าเหล่านี้สำหรับตัวเลือกที่เหลือ ' K ' มีความสำคัญน้อยลงสำหรับการเปรียบเทียบ แล้วใส่ค่า n และρσ 2ป้อนค่าเหล่านี้จะสั่งตามการเพิ่มของค่า สำหรับค่าคงที่ของการเปลี่ยนแปลงρ ' ' มีค่า ' N ' และคงค่า ( ρ , n ) การเปลี่ยนแปลงค่าของσ 2 มี 12 ชุด ( ρ , N , σ 2 ) ค่า เหล่านี้จะถูกจัดเรียงเป็น ( 0.9,20,1 ) , ( 0.9,20,5 ) . . . . . . . ( 0.9100,25 ) และมันคือเลข 1 , 2 , . . . , 12 ตามลำดับ


รูปที่ 1อัตราส่วนของค่า AMSE ของวิธีตัวประมาณริดจ์ต่างๆมากกว่านั้นแตกต่างกัน ' k ( p = 4 = บีตา ( 2,3,5,1 ) และได้รับρ = 0.9 ) .

ขั้นตอนเดียวกันอีกทางเลือกของ P = 3 = บีตา ( 3 , 1 , 5 ) นั้นเสร็จเรียบร้อย และอัตราส่วนค่า AMSE จะคำนวณและแสดงในรูปที่ 2


รูปที่ 2 อัตราส่วนของค่า AMSE ของวิธีตัวประมาณริดจ์ต่างๆแตกต่างกันไป ' K ( P = 3 = ( 3,1,5 และบีตา ) นั้นρ = 0.9 ) .

จากตารางที่ 1 รูปที่ 1 และรูปที่ 2เราสังเกตว่าผลงานที่เสนอริดจ์พารามิเตอร์ K1 ( AD ) K2 ( AD ) K3 ( AD ) และทาง ( AD ) มากกว่า OLS . โดยเฉพาะทาง ( AD ) ทําก้องและเป็นเพียงเล็กน้อยดีกว่าที่เสนอโดยพารามิเตอร์ริดจ์ hoerl et al . , 1975 และ dorugade และ kashid 2010 ขณะที่จะให้ประสิทธิภาพดีกว่าคันอื่น ๆค่าดูในบทความนี้สำหรับทุกชุดของความสัมพันธ์ระหว่างตัวแปร ( ρ ) ขนาดตัวอย่าง ( n ) และความแปรปรวนของความคลาดเคลื่อน ( σเทอม 2 ) ที่ใช้ในการจำลอง .