The performance of a predictive mod

The performance of a predictive model is overestimated when simply determined on the sample of subjects that was used to construct the model. Several internal validation methods are available that aim to provide a more accurate estimate of model performance in new subjects. We evaluated several variants of split-sample, cross-validation and bootstrapping methods with a logistic regression model that included eight predictors for 30-day mortality after an acute myocardial infarction. Random samples with a size between n = 572 and n = 9165 were drawn from a large data set (GUSTO-I; n = 40,830; 2851 deaths) to reflect modeling in data sets with between 5 and 80 events per variable. Independent performance was determined on the remaining subjects. Performance measures included discriminative ability, calibration and overall accuracy. We found that split-sample analyses gave overly pessimistic estimates of performance, with large variability. Cross-validation on 10% of the sample had low bias and low variability, but was not suitable for all performance measures. Internal validity could best be estimated with bootstrapping, which provided stable estimates with low bias. We conclude that split-sample validation is inefficient, and recommend bootstrapping for estimation of internal validity of a predictive logistic regression model.

ผลลัพธ์ (ไทย) 1:

ประสิทธิภาพของแบบจำลองการคาดการณ์เป็น overestimated เมื่อเพียงแค่กำหนดค่าตัวอย่างของเรื่องที่ใช้ในการสร้างแบบจำลอง มีหลายวิธีการตรวจสอบภายในที่จุดมุ่งหมายเพื่อให้การประเมินถูกต้องมากขึ้นของประสิทธิภาพการทำงานแบบจำลองในวิชาใหม่ เราประเมินตัวแปรหลายตัวแบ่งตัวอย่าง การตรวจ สอบข้าม และ bootstrapping วิธีกับแบบจำลองการถดถอยโลจิสติกที่รวม predictors แปดสำหรับตาย 30 วันหลังจากการตายกล้ามเนื้อหัวใจเฉียบพลัน ตัวอย่างสุ่มขนาดระหว่าง n = 572 และ n = 9165 ถูกดึงมาจากชุดข้อมูลขนาดใหญ่ (กัสโต้-ฉัน n = 40,830; 2851 ตาย) ถึงโมเดลในชุดข้อมูลกับระหว่าง 5 และ 80 เหตุการณ์สำหรับแต่ละตัวแปร ประสิทธิภาพการทำงานอิสระที่ถูกกำหนดในหัวข้อที่เหลือ วัดรวมความ discriminative ปรับเทียบ และความแม่นยำโดยรวม เราพบว่า แยกตัวอย่างวิเคราะห์ให้ประเมินในเชิงลบมากเกินไปประสิทธิภาพการทำงาน มีความแปรผันขนาดใหญ่ ข้ามการตรวจสอบใน 10% ของตัวอย่างมีอคติต่ำและสำหรับความผันผวนต่ำ แต่ไม่เหมาะสำหรับการวัดทั้งหมด มีผลบังคับใช้ภายในสามารถส่วนจะประมาณ ด้วย bootstrapping ซึ่งมีเสถียรภาพประเมินความโน้มเอียงที่ต่ำ เราสรุปว่า ตรวจสอบตัวอย่างแบ่งเป็นต่ำ และแนะนำ bootstrapping สำหรับการประเมินมีผลบังคับใช้ภายในแบบจำลองถดถอยโลจิสติกงาน

ผลลัพธ์ (ไทย) 2:

ประสิทธิภาพการทำงานของรูปแบบการพยากรณ์ที่ถูกเกินไปเมื่อกำหนดเพียงตัวอย่างของอาสาสมัครที่ใช้ในการสร้างแบบจำลอง วิธีการตรวจสอบหลายที่มีอยู่ภายในที่มีจุดมุ่งหมายที่จะให้การประมาณการที่ถูกต้องมากขึ้นของประสิทธิภาพการทำงานในรูปแบบวิชาใหม่ เราประเมินหลายสายพันธุ์ของการแยกตัวอย่างการตรวจสอบข้ามและวิธีการร่วมมือกับรูปแบบการถดถอยโลจิสติกที่รวมแปดพยากรณ์การเสียชีวิต 30 วันหลังจากที่กล้ามเนื้อหัวใจตายเฉียบพลัน ตัวอย่างสุ่มที่มีขนาดระหว่าง n = 572 และ n = 9165 ถูกดึงออกมาจากชุดข้อมูลขนาดใหญ่ (GUSTO-I; n = 40830; 2851 เสียชีวิต) เพื่อสะท้อนให้เห็นถึงการสร้างแบบจำลองในชุดข้อมูลที่มีระหว่าง 5 และ 80 กิจกรรมต่อตัวแปร ผลการดำเนินงานที่เป็นอิสระถูกกำหนดในวิชาที่เหลือ มาตรการการปฏิบัติงานรวมถึงความสามารถในการจำแนกการสอบเทียบและความถูกต้องโดยรวม เราพบว่าการแบ่งตัวอย่างการวิเคราะห์ให้ประมาณการในแง่ร้ายมากเกินไปของการปฏิบัติงานที่มีความแปรปรวนที่มีขนาดใหญ่ การตรวจสอบ-Cross ได้ที่ 10% ของกลุ่มตัวอย่างมีอคติและความแปรปรวนต่ำต่ำ แต่ก็ไม่เหมาะสำหรับการวัดผลการปฏิบัติงานทั้งหมด ความถูกต้องภายในที่ดีที่สุดอาจจะมีการประมาณด้วยความร่วมมือซึ่งให้ประมาณการที่มั่นคงกับอคติต่ำ เราสรุปได้ว่าการตรวจสอบแยกตัวอย่างที่ไม่มีประสิทธิภาพและแนะนำให้ความร่วมมือในการประมาณการของความถูกต้องภายในของรูปแบบการถดถอยโลจิสติกการคาดการณ์

ผลลัพธ์ (ไทย) 3:

ประสิทธิภาพของแบบจำลองเป็นเพียงประมาณการเมื่อพิจารณาตัวอย่างของวิชาที่ใช้ในการสร้างรูปแบบ วิธีการตรวจสอบหลายภายในที่มีจุดมุ่งหมายเพื่อให้การประเมินที่ถูกต้องมากขึ้นของแบบจำลองสมรรถนะในระดับใหม่ เราประเมินหลายสายพันธุ์แบ่งตัวอย่างการตรวจสอบข้ามและ bootstrapping วิธีการด้วยตัวแบบการถดถอยเชิงเส้นซึ่งรวมถึงแปดพยากรณ์การตาย 30 วันหลังกล้ามเนื้อหัวใจตายเฉียบพลัน ตัวอย่างแบบสุ่มที่มีขนาดระหว่าง N = และ n = 9165 ถูกดึงจากชุดข้อมูลขนาดใหญ่ ( gusto-i ; n = 40830 ; เสียชีวิต 2851 ) เพื่อสะท้อนให้เห็นแบบในชุดข้อมูลที่มีระหว่าง 5 และ 80 เหตุการณ์ ต่อ ตัวแปรงานอิสระกำหนดในวิชาที่เหลือ การวัดผลการดำเนินงานรวมในค่าและสอบเทียบความถูกต้องโดยรวม เราพบตัวอย่างที่แยกวิเคราะห์ในแง่ร้ายมากเกินไป ให้ประมาณการของประสิทธิภาพกับความใหญ่ ข้ามการตรวจสอบที่ 10 % ของกลุ่มตัวอย่างมีความอคติ ต่ำ และต่ำ แต่ก็ไม่เหมาะกับการวัดผลการปฏิบัติงานทั้งหมดความตรงภายในที่ดีที่สุดอาจจะเป็นประมาณกับ bootstrapping ที่ให้ประเมินเสถียรภาพ ด้วยการตั้งค่าต่ำ เราสรุปได้ว่า การแยกการตรวจสอบตัวอย่างที่ไม่ได้ผล และแนะนำ bootstrapping การประเมินความตรงภายในของตัวแบบการถดถอยโลจิสติกแบบ .