the distribution of the predictors

the distribution of the predictors X, the true coefficient vector—on the left, entirely zero, and on the right, one large coefficient). Shown are quantile–quantile ...
Go to:
9. Discussion

We proposed a simple covariance statistic for testing the significance of predictor variables as they enter the active set, along the lasso solution path. We showed that the distribution of this statistic is asymptotically Exp(1), under the null hypothesis that all truly active predictors are contained in the current active set. [See Theorems 1, 2 and 3; the conditions required for this convergence result vary depending on the step k along the path that we are considering, and the covariance structure of the predictor matrix X; the Exp(1) limiting distribution is in some cases a conservative upper bound under the null.] Such a result accounts for the adaptive nature of the lasso procedure, which is not true for the usual chi-squared test (or F -test) applied to, for example, forward stepwise regression.

We feel that our work has shed light not only on the lasso path (as given by LARS), but also, at a high level, on forward stepwise regression. Both the lasso and forward stepwise start by entering the predictor variable most correlated with the outcome (thinking of standardized predictors), but the two differ in what they do next. Forward stepwise is greedy, and once it enters this first variable, it proceeds to fit the first coefficient fully, ignoring the effects of other predictors. The lasso, on the other hand, increases (or decreases) the coefficient of the first variable only as long as its correlation with the residual is larger than that of the inactive predictors. Subsequent steps follow similarly. Intuitively, it seems that forward stepwise regression inflates coefficients unfairly, while the lasso takes more appropriately sized steps. This intuition is confirmed in one sense by looking at degrees of freedom (recall Section 2.4). The covariance test and its simple asymptotic null distribution reveal another way in which the step sizes used by the lasso are “just right.”

The problem of assessing significance in an adaptive linear model fit by the lasso is a difficult one, and what we have presented in this paper by no means a complete solution. We describe some current work and ideas for future projects below.

Significance test for generic lasso models. A natural direction to consider is the generic lasso testing problem: given a lasso model computed at some fixed value of λ, how do we carry out a significance test for each predictor in the active set? Work on this is in progress.
Nonasymptotic null distributions. A geometric characterization of the first knot in the lasso path provides an alternative test for the global null hypothesis, β* = 0. When all predictors have unit norm, ∥Xi∥2=1, for i = 1, …, p, this test has the form
1−Φ(λ1/σ)1−Φ(λ2/σ)∼Unif(0,1).

ผลลัพธ์ (ไทย) 1:

กระจาย predictors X เวกเตอร์สัมประสิทธิ์จริง — บน ซ้าย ศูนย์ทั้งหมด และด้าน ขวา สัมประสิทธิ์หนึ่งขนาดใหญ่) แสดงเป็น quantile – quantile ...ลุยเลย:9. สนทนาเรานำเสนอสถิติแปรปรวนง่ายสำหรับการทดสอบนัยสำคัญของตัวแปร predictor เข้าชุดงาน ตามเส้นทางในการแก้ปัญหาแบบ lasso เราพบว่า การกระจายของสถิตินี้คือ asymptotically Exp(1) ภายใต้สมมติฐานว่างที่ว่า predictors ใช้งานอย่างแท้จริงทั้งหมดอยู่ในชุดงานปัจจุบัน [ดูทฤษฎีบท 1, 2 และ 3 เงื่อนไขที่จำเป็นสำหรับผลลัพธ์นี้บรรจบกันแตกขั้นตอน k ตามเส้นทางที่เรากำลังพิจารณา และโครงสร้างความแปรปรวนร่วมของเมทริกซ์ predictor X; Exp(1) จำกัดกระจายอยู่ในบางกรณีถูกผูกไว้บนหัวเก่าภายใต้การ null] ผลการบัญชีสำหรับการปรับลักษณะของขั้นตอนแบบ lasso ซึ่งไม่เป็นความจริงสำหรับการทดสอบไคสแควร์ปกติ (หรือ F-ทดสอบ) กับที่ เช่น ส่ง stepwise ถดถอยเรารู้สึกว่า งานของเราได้หลั่งน้ำตาแสงไม่เพียงแต่บนเส้นทางแบบ lasso (ที่กำหนดโดย LARS), แต่ยัง ในระดับสูง ใน stepwise ถดไปข้างหน้า ทั้งแบบ lasso และเริ่ม stepwise ไปข้างหน้า โดยการป้อนตัวแปร predictor สุด correlated กับผลที่ได้ (แนวคิดของมาตรฐาน predictors), แต่ทั้งสองแตกต่างกันในสิ่งที่พวกเขาทำต่อไป หน้า stepwise คือโลภ และเมื่อเข้าสู่ตัวแปรแรกนี้ จะดำเนินการให้พอดีกับค่าสัมประสิทธิ์แรกเต็ม ละเว้นผล predictors อื่น ๆ กม้า คง เพิ่ม (หรือลด) ค่าสัมประสิทธิ์ของตัวแปรแรกเท่านั้นตราบเท่าที่ความสัมพันธ์ของมันกับส่วนที่เหลือจากมีขนาดใหญ่กว่าของ predictors งาน ขั้นตอนต่อไปตามทำนองเดียวกัน สังหรณ์ใจ มันดูเหมือนว่า ถดถอย stepwise ไปข้างหน้า inflates สัมประสิทธิ์ unfairly ขณะกม้าใช้ขั้นตอนมากขึ้นเหมาะสมขนาด สัญชาตญาณนี้เป็นยืนยันในความรู้สึกหนึ่ง โดยมองที่องศาความเป็นอิสระ (เรียกคืนส่วน 2.4) การทดสอบความแปรปรวนร่วมและการกระจายของ null asymptotic อย่างเปิดเผยอีกวิธีหนึ่งที่ใช้กม้าขนาดขั้นตอนมี "ทางการ"ปัญหาของการประเมินความสำคัญในแบบจำลองเชิงเส้นเหมาะสมพอดี โดยกม้าเป็นหนึ่งยาก และที่เราได้นำเสนอในเอกสารนี้โดยไม่ตอบ เราอธิบายบางงานปัจจุบันและแนวทางในอนาคตโครงการด้านล่าง ทดสอบนัยสำคัญสำหรับรูปแบบทั่วไปแบบ lasso ทิศทางธรรมชาติในการพิจารณาคือ กม้าทั่วไปทดสอบปัญหา: กำหนดรูปแบบ lasso แบบคำนวณค่าบางอย่างถาวรของλ วิธีทำเราดำเนินการทดสอบนัยสำคัญสำหรับผู้ทายผลแต่ละชุดใช้งานอยู่หรือไม่ งานนี้กำลังดำเนินการอยู่ Nonasymptotic เป็น null การกระจาย การทดสอบทางเลือกสำหรับส่วนกลาง null ทฤษฏี β * ช่วยให้การจำแนกรูปทรงเรขาคณิตของปมแรกในเส้นทางแบบ lasso = 0 เมื่อ predictors ทั้งหมดมีหน่วยปกติ ∥Xi∥2 = 1 หา = 1,..., p ทดสอบนี้มีรูปแบบ 1−Φ(λ1/σ)1−Φ(λ2/σ)∼Unif(0,1)

ผลลัพธ์ (ไทย) 2:

การกระจายตัวของการพยากรณ์ที่ X, ค่าสัมประสิทธิ์เวกเตอร์ที่แท้จริงบนซ้ายทั้งศูนย์และด้านขวาซึ่งเป็นหนึ่งในค่าสัมประสิทธิ์ขนาดใหญ่) ที่แสดงเป็น quantile-quantile ...
ไปที่:
9 คำอธิบายเรานำเสนอสถิติที่แปรปรวนง่ายสำหรับการทดสอบความสำคัญของตัวแปรที่พวกเขาใส่ชุดที่ใช้งานอยู่ตามเส้นทางการแก้ปัญหาเชือก เราแสดงให้เห็นว่าการกระจายของสถิตินี้เป็น asymptotically ประสบการณ์ (1) ภายใต้สมมติฐานที่พยากรณ์ทุกการใช้งานอย่างแท้จริงมีอยู่ในชุดที่ใช้งานในปัจจุบัน [ดูทฤษฎีบท 1, 2 และ 3; เงื่อนไขที่จำเป็นสำหรับผลการบรรจบกันนี้แตกต่างกันไปขึ้นอยู่กับขั้นตอน k ไปตามเส้นทางที่เรากำลังพิจารณาและโครงสร้างความแปรปรวนของเมทริกซ์ทำนาย X นั้น ประสบการณ์ (1) การ จำกัด การกระจายอยู่ในบางกรณีที่ถูกผูกไว้บนอนุรักษ์นิยมภายใต้โมฆะ.] เช่นบัญชีผลสำหรับลักษณะการปรับตัวของขั้นตอนเชือกซึ่งไม่เป็นความจริงสำหรับปกติการทดสอบไคสแควร์ (หรือ F-test) นำไปใช้กับตัวอย่างเช่นการถดถอยแบบขั้นตอนไปข้างหน้า. เรารู้สึกว่าการทำงานของเราได้หลั่งน้ำตาแสงไม่เพียง แต่บนเส้นทางเชือก (ตามที่กำหนดโดย LARS) แต่ยังอยู่ในระดับสูงในการถดถอยแบบขั้นตอนไปข้างหน้า ทั้งเชือกไปข้างหน้าและขั้นตอนการเริ่มต้นโดยการป้อนตัวแปรทำนายที่มีความสัมพันธ์มากที่สุดกับผล (ความคิดของการพยากรณ์ที่ได้มาตรฐาน) แต่ทั้งสองแตกต่างกันในสิ่งที่พวกเขาทำอย่างไรต่อไป ขั้นตอนไปข้างหน้าเป็นโลภและเมื่อมันเข้าสู่ตัวแปรแรกนี้จะดำเนินการเพื่อให้พอดีกับค่าสัมประสิทธิ์แรกอย่างเต็มที่โดยไม่สนใจผลกระทบของการพยากรณ์ที่อื่น ๆ เชือกในมืออื่น ๆ ที่เพิ่มขึ้น (หรือลดลง) ค่าสัมประสิทธิ์ของตัวแปรแรกเท่านั้นตราบใดที่ความสัมพันธ์กับส่วนที่เหลือมีขนาดใหญ่กว่าที่ทำนายไม่ได้ใช้งาน ขั้นตอนต่อมาในทำนองเดียวกันตาม สังหรณ์ใจมันก็ดูเหมือนว่าการถดถอยแบบขั้นตอนข้างหน้าพองสัมประสิทธิ์เป็นธรรมขณะที่เชือกใช้ขั้นตอนที่มากขึ้นขนาดเหมาะสม สัญชาตญาณนี้ได้รับการยืนยันในอีกแง่หนึ่งโดยดูที่องศาอิสระ (จำมาตรา 2.4) การทดสอบความแปรปรวนและการกระจาย null asymptotic ที่เรียบง่ายเปิดเผยอีกวิธีหนึ่งในการที่ขนาดขั้นตอนโดยใช้เชือกที่มี "เพียงขวา." ปัญหาของการประเมินอย่างมีนัยสำคัญในแบบจำลองเชิงเส้นการปรับตัวโดยเชือกเป็นหนึ่งที่ยากและสิ่งที่เรามี ที่นำเสนอในบทความนี้ไม่ได้หมายความว่าเป็นโซลูชั่นที่สมบูรณ์ เราอธิบายการทำงานในปัจจุบันและความคิดสำหรับโครงการในอนาคตด้านล่าง. ทดสอบสำคัญสำหรับรุ่นเชือกทั่วไป ทิศทางธรรมชาติที่จะต้องพิจารณาเป็นปัญหาทั่วไปทดสอบเชือก: กำหนดรูปแบบการคำนวณเชือกที่บางส่วนค่าคงที่ของλอย่างไรเราดำเนินการทดสอบอย่างมีนัยสำคัญสำหรับแต่ละทำนายอยู่ในชุดที่ใช้งานได้หรือไม่ ทำงานเกี่ยวกับเรื่องนี้อยู่ในความคืบหน้า. Nonasymptotic กระจาย null ลักษณะทางเรขาคณิตของปมแรกในเส้นทางเชือกให้เป็นทางเลือกสำหรับการทดสอบสมมติฐานทั่วโลกβ * = 0 เมื่อพยากรณ์ทุกคนมีบรรทัดฐานหน่วย∥Xi∥2 = 1 สำหรับ i = 1, ... , พีนี้ การทดสอบมีรูปแบบ1 Φ (λ1 / σ) 1 Φ (λ2 / σ) ~Unif (0,1)

ผลลัพธ์ (ไทย) 3:

การแจกแจงของตัวแปร x , จริงแบบเวกเตอร์บนซ้าย ทั้งศูนย์และด้านขวาหนึ่งใหญ่เท่ากับ ) แสดงเป็นควอนไทล์ - ควอนไทล์ . . . . . . .

ไป : 9 การอภิปราย

เราเสนอสถิติความแปรปรวนง่ายสำหรับการทดสอบความสำคัญของตัวแปรที่พวกเขาใส่ชุดทำงานพร้อมเชือกแก้ไขเส้นทางเราพบว่า การแพร่กระจายของสถิตินี้เป็น asymptotically EXP ( 1 ) ภายใต้สมมติฐานโมฆะที่พยากรณ์งานอย่างแท้จริงทั้งหมดที่มีอยู่ในการตั้งค่าที่ใช้งานปัจจุบัน [ ดูทฤษฎีบทที่ 1 , 2 และ 3 ; เงื่อนไขที่จำเป็นสำหรับนี้บรรจบผลแตกต่างกันไปขึ้นอยู่กับขั้นตอน K ตามเส้นทางที่เรากำลังพิจารณา และความแปรปรวนของตัวแปรโครงสร้างเมทริกซ์ X ;EXP ( 1 ) จํากัดกระจายอยู่ในบางกรณี อนุลักษณ์บนผูกพันภายใต้ null ] เช่นผลบัญชีแบบธรรมชาติของกระบวนการเชือกซึ่งไม่เป็นความจริงสำหรับชิปกติทดสอบยกกำลังสอง ( หรือ F - test ) ใช้กับ ตัวอย่างเช่น ขั้นตอนต่อไป

เรารู้สึกว่า งานของเราได้หลั่งแสงไม่เพียง แต่บนเส้นทาง ( เช่นเชือกให้ลาร์ส ) แต่ยังอยู่ในระดับสูงในขั้นตอนต่อไป ทั้งเชือกและส่งต่อคนเริ่มเข้าทำนายตัวแปรส่วนใหญ่มีความสัมพันธ์กับผล ( คิด ( มาตรฐาน ) แต่ทั้งสองแตกต่างกันในสิ่งที่พวกเขาจะทำอะไรต่อไป ไปข้างหน้า = โลภ และเมื่อมันเข้าสู่ตัวแปรแรก นี้มันเงินให้พอดีกับค่าแรกเต็มที่ ไม่สนใจผลกระทบของปัจจัยอื่น ๆ ส่วนเชือก ,บนมืออื่น ๆที่เพิ่มขึ้น ( หรือลดลง ) สัมประสิทธิ์ของตัวแปรแรกเท่านั้นตราบใดที่ความสัมพันธ์กับส่วนที่เหลือของตัวมีขนาดใหญ่กว่าที่ใช้งาน ตามขั้นตอนที่ตามมา เช่น สังหรณ์ใจ มันดูเหมือนว่า ไปข้างหน้า ถดถอยพหุคูณแบบเพิ่มความพองตัวอย่างไม่เป็นธรรม ขณะที่เชือกต้องมีขนาดที่เหมาะสม ขั้นตอนสัญชาตญาณนี้ได้รับการยืนยันในแง่หนึ่งโดยดูที่องศาอิสระ ( จำมาตรา 2.4 ) การร่วมทดสอบและง่ายของการเปิดเผยแหล่งในอีกทาง ซึ่งขั้นตอนขนาดใช้บ่วงบาศเป็น " เพียงขวา "

ปัญหาของการประเมินความสำคัญในการเชิงเส้นแบบพอดี โดยเชือกเป็นหนึ่งที่ยากและสิ่งที่เราได้นำเสนอในบทความนี้ไม่ได้โซลูชั่นที่สมบูรณ์ เราอธิบายการทำงานในปัจจุบันและความคิดสำหรับโครงการในอนาคตข้างล่าง

ความสำคัญทดสอบทั่วไปเชือกรุ่น ทิศทางของธรรมชาติที่จะต้องพิจารณาคือทั่วไปบาศปัญหาการทดสอบ : ให้เชือกแบบคำนวณที่คงคุณค่าของλ แล้วเราจะดำเนินการทดสอบสำหรับแต่ละตัวแปรสำคัญในการตั้งค่าใช้งาน ?งานนี้อยู่ในความคืบหน้า .
nonasymptotic null การแจกแจง . เป็นลักษณะทางเรขาคณิตของปมเชือกแรกในเส้นทางให้ทดสอบทางเลือกสำหรับสมมติฐานโมฆะ ( บีตา * = 0 เมื่อทุกคนมีบรรทัดฐาน ( หน่วย∥ Xi ∥ 2 = 1 สำหรับฉัน = 1 , . . . , p , การทดสอบนี้มีรูปแบบ
1 −Φ ( λ 1 / σ ) 1 −Φ ( λ 2 / σ ) ∼ยูนิฟ ( 0.1 )