Generalization and Cross-Validation

Generalization and Cross-Validation Methods
The next two methods can be used for nested and/or non-nested models. The generalization criterion for model comparison is based on the following simple to use procedure: (1) a set of experimental conditions is divided into two subsets – a calibration set and a test set; (2) all of the data obtained from the calibration set of conditions are used to estimate the free parameters of the models; (3) the parameter values estimated from the calibration stage are then used to generate new a priori predictions for the data obtained from the set of test conditions; (4) the predictive accuracies of the models under the test conditions are used to compare and evaluate the competing models.

Cross validation works differently. All conditions are used for calibration and any data point has an equal chance of being selected for the calibration stage. In this case, the data set is randomly divided into two subsets of data – a calibration set of data points and a test set of data points. Once again parameters are estimated from the calibration set and these same parameters are used to predict the test set.

When comparing the two methods, we see that the cross validation procedure samples data from all the conditions for the calibration stage, whereas generalization explicitly restricts sampling of data points for the calibration stage to a subset of conditions (not allowing parameters to be fit to any data from the test conditions). Cross validation is useful for small sample sizes, but as the sample size increases, it begins to favor more complex models (Browne, 2000). In contrast, the generalization criterion can be used to select a simpler model that generalizes better than a more complex model even with very large sample sizes (Busemeyer and Wang, 2000). One important limitation of the generalization criterion is that it requires one to assume that the same parameters are used across both calibration and test conditions.

For example, Ahn and colleagues (2008) compared the prospect value leaning (PVL) versus expectancy value learning (EVL) models using the generalization criterion. They estimated the parameters of each model using one version of the IGT, and then they used these same parameters to predict performance on a different version of the IGT in which the payoffs were changed to produce a strikingly different pattern of behavioral choices. They found that the PVL predicted performance on the generalization test conditions better than the EVL model, providing converging evidence for the earlier conclusion based on the BIC model comparison.

A recently developed model comparison method is called the prequential procedure ( Shiffrin et al., 2008). The steps for this method are (a) estimate the parameters based on the first t−1 observations, (b) then calculate a prediction and the discrepancy measure for the next new observation (e.g., using either the increment in WSSE or G2 contributed by the next new observation), (c) repeat this procedure for each subsequent new observation and accumulate the discrepancies across all observations to produce the accumulative prediction error (APE), (d) finally choose the model with the smallest APE. Under certain assumptions, the prequential method selects the same model as the Bayesian method.

ผลลัพธ์ (ไทย) 1:

Generalization และวิธีการตรวจสอบข้าม
สามารถใช้วิธีถัดไปสองรุ่นซ้อน หรือไม่ซ้อนกันได้ เกณฑ์ generalization สำหรับการเปรียบเทียบแบบจำลองตามง่ายต่อการใช้กระบวนงาน: (1) ชุดของเงื่อนไขการทดลองแบ่งออกเป็นชุดย่อยสอง – เทียบตั้งและทดสอบการตั้งค่า (2) ข้อมูลทั้งหมดได้รับจากการปรับเทียบชุดเงื่อนไขใช้ประเมินพารามิเตอร์ฟรีรุ่น (3 ค่าพารามิเตอร์)ประเมินจากขั้นตอนการปรับเทียบแล้วใช้เพื่อสร้างการคาดคะเน priori ความใหม่สำหรับข้อมูลที่ได้จากชุดของเงื่อนไขการทดสอบ (4) accuracies การคาดการณ์ของแบบจำลองภายใต้เงื่อนไขการทดสอบจะใช้การเปรียบเทียบ และประเมินการแข่งขันรูปแบบการ

สอบระหว่างทำงานแตกต่างกัน เงื่อนไขที่ใช้สำหรับการปรับเทียบ และตลอดข้อมูลพอ ๆ กันของเลือกไว้ในขั้นเทียบได้ ในกรณีนี้ ชุดข้อมูลสุ่มแบ่งออกเป็น 2 ชุดย่อยของข้อมูล – จุดเทียบชุดข้อมูล และทดสอบการตั้งค่าของจุดข้อมูล ครั้งประมาณพารามิเตอร์จากการปรับเทียบชุด และพารามิเตอร์เหล่านี้เดียวใช้ทายว่า ชุดทดสอบนี้

เมื่อเปรียบเทียบสองวิธี เราเห็นว่า กระบวนการตรวจสอบไขว้ตัวอย่างข้อมูลจากเงื่อนไขทั้งหมดสำหรับขั้นตอนการสอบเทียบ ในขณะที่ generalization จำกัดสุ่มตัวอย่างของจุดข้อมูลสำหรับระยะเทียบกับชุดย่อยของเงื่อนไข (ไม่อนุญาตให้พารามิเตอร์ให้พอดีกับข้อมูลจากเงื่อนไขการทดสอบ) อย่างชัดเจน ตรวจสอบระหว่างใช้สำหรับขนาดตัวอย่างขนาดเล็ก แต่เมื่อขนาดตัวอย่างมากขึ้น มันเริ่มที่จะชอบรูปแบบซับซ้อน (Browne, 2000) ในทางตรงกันข้าม สามารถใช้เกณฑ์ generalization เพื่อเลือกรูปแบบเรียบง่ายที่ generalizes ดีกว่าแบบซับซ้อนแม้ว่าจะมีขนาดตัวอย่างขนาดใหญ่ (Busemeyer และวัง 2000) ข้อจำกัดสำคัญหนึ่งของเกณฑ์ generalization คือ ที่ต้องการสมมติว่า พารามิเตอร์เดียวกันมีใช้การปรับเทียบและทดสอบเงื่อนไขการ

ตัวอย่าง อาห์นและเพื่อนร่วมงาน (2008) เปรียบเทียบค่าโน้มเอียง (PVL) เทียบกับค่าเสถียรภาพที่เรียนโดยใช้เกณฑ์ generalization รุ่น (EVL) พวกเขาประเมินพารามิเตอร์ของแต่ละรุ่นใช้รุ่นหนึ่งของ IGT แล้ว พวกเขาใช้พารามิเตอร์เหล่านี้เดียวกันทำนายประสิทธิภาพการทำงานในรุ่นอื่นของ IGT ที่ payoffs มีการเปลี่ยนแปลงการผลิตรูปแบบแตกต่างกว่าตัวเลือกพฤติกรรม พวกเขาพบว่า ที่ PVL ทำนายประสิทธิภาพการทำงานในเงื่อนไข generalization ทดสอบที่ดีกว่ารุ่น EVL ให้หลักฐานบรรจบสำหรับบทสรุปก่อนหน้าตาม BIC รุ่นเปรียบเทียบ

วิธีการเปรียบเทียบรุ่นล่าสุดพัฒนาเรียกว่ากระบวนการ prequential (Shiffrin et al., 2008) ขั้นตอนสำหรับวิธีนี้คือ (ก) ประเมิน พารามิเตอร์ตามสังเกต t−1 แรก, (b) แล้วคำนวณการคาดการณ์และวัดความแตกต่างสังเกตใหม่ถัดไป (เช่น ใช้อย่างใดอย่างหนึ่งเพิ่มขึ้นใน WSSE หรือ G2 โดยสังเกตใหม่ถัดไป), (c) ทำซ้ำขั้นตอนนี้สำหรับสังเกตใหม่แต่ละครั้งต่อมา และสะสมความขัดแย้งที่ทั้งสังเกตการพยากรณ์ปัจจุบันข้อผิดพลาด (APE), (d) ก็เลือกแบบกับลิงน้อย ภายใต้สมมติฐานบางอย่าง prequential วิธีการเลือกแบบเดียวกันเป็นวิธีการทฤษฎี

ผลลัพธ์ (ไทย) 2:

ทั่วไปและข้ามตรวจสอบวิธีการ
ต่อไปทั้งสองวิธีสามารถใช้สำหรับรุ่นที่ซ้อนกันและ / หรือไม่ซ้อนกัน เกณฑ์ทั่วไปสำหรับการเปรียบเทียบรูปแบบขึ้นอยู่กับความต่อไปนี้ง่ายที่จะใช้ขั้นตอน (1) ชุดของเงื่อนไขการทดลองแบ่งออกเป็นสองส่วนย่อย - ชุดการสอบเทียบและทดสอบชุด; (2) ข้อมูลทั้งหมดที่ได้จากการสอบเทียบชุดของเงื่อนไขที่ใช้ในการประมาณค่าที่จอดรถของรุ่น; (3) ค่าพารามิเตอร์ที่ประมาณจากขั้นตอนการสอบเทียบถูกนำมาใช้ในการสร้างใหม่การคาดการณ์เบื้องต้นสำหรับข้อมูลที่ได้จากชุดของเงื่อนไขการทดสอบ; (4) ความถูกต้องของการพยากรณ์แบบจำลองที่อยู่ภายใต้เงื่อนไขการทดสอบที่ใช้ในการเปรียบเทียบและประเมินรูปแบบการแข่งขันการตรวจสอบข้ามทำงานแตกต่างกัน เงื่อนไขทั้งหมดที่ใช้สำหรับการสอบเทียบและจุดข้อมูลใด ๆ ที่มีโอกาสเท่าเทียมกันที่จะถูกเลือกไว้สำหรับขั้นตอนการสอบเทียบ ในกรณีนี้ชุดข้อมูลจะถูกแบ่งออกเป็นสองส่วนย่อยของข้อมูล - ชุดการสอบเทียบของจุดข้อมูลและการตั้งค่าการทดสอบของจุดข้อมูล อีกครั้งพารามิเตอร์ที่ประมาณจากชุดการสอบเทียบและพารามิเตอร์เดียวกันนี้ถูกนำมาใช้ในการคาดการณ์ชุดทดสอบเมื่อเปรียบเทียบทั้งสองวิธีเราจะเห็นว่าขั้นตอนการตรวจสอบข้ามข้อมูลตัวอย่างจากทุกเงื่อนไขสำหรับขั้นตอนการสอบเทียบในขณะที่ทั่วไปอย่างชัดเจน จำกัด การสุ่มตัวอย่าง ของจุดข้อมูลสำหรับขั้นตอนการสอบเทียบกับส่วนหนึ่งของเงื่อนไข (ไม่อนุญาตให้พารามิเตอร์จะต้องสอดคล้องกับข้อมูลใด ๆ จากเงื่อนไขการทดสอบ) การตรวจสอบข้ามจะเป็นประโยชน์สำหรับขนาดตัวอย่างเล็ก ๆ แต่เป็นขนาดตัวอย่างเพิ่มขึ้นก็เริ่มที่จะชอบรูปแบบที่ซับซ้อนมากขึ้น (บราวน์, 2000) ในทางตรงกันข้ามเกณฑ์ทั่วไปสามารถใช้ในการเลือกรูปแบบที่เรียบง่ายที่ generalizes ดีกว่ารูปแบบที่ซับซ้อนมากขึ้นแม้จะมีขนาดตัวอย่างมีขนาดใหญ่มาก (Busemeyer และวัง 2000) หนึ่งในข้อ จำกัด ที่สำคัญของเกณฑ์ทั่วไปคือมันต้องใช้อย่างใดอย่างหนึ่งที่จะสมมติว่าพารามิเตอร์เดียวกันถูกนำมาใช้ทั่วทั้งเงื่อนไขในการสอบเทียบและทดสอบตัวอย่างเช่น Ahn และเพื่อนร่วมงาน (2008) เมื่อเทียบกับค่าโอกาสพิง (PVL) เมื่อเทียบกับมูลค่าที่คาดหวังการเรียนรู้ (EVL ) รุ่นโดยใช้เกณฑ์ทั่วไป พวกเขาประมาณพารามิเตอร์ของแบบจำลองใช้รุ่นหนึ่งใน IGT แต่ละและจากนั้นพวกเขาใช้พารามิเตอร์เดียวกันนี้ในการทำนายผลการปฏิบัติงานในรุ่นที่แตกต่างกันของ IGT ที่ผลตอบแทนมีการเปลี่ยนแปลงในการผลิตรูปแบบที่แตกต่างกันอย่างยอดเยี่ยมของตัวเลือกที่พฤติกรรม พวกเขาพบว่า PVL คาดการณ์ผลการดำเนินงานเกี่ยวกับเงื่อนไขการทดสอบทั่วไปที่ดีขึ้นกว่ารุ่น EVL มีหลักฐานมาบรรจบกันสำหรับข้อสรุปก่อนหน้านี้จากการเปรียบเทียบรูปแบบ BIC วิธีการเปรียบเทียบรูปแบบการพัฒนาเมื่อเร็ว ๆ นี้ที่เรียกว่าขั้นตอน prequential (Shiffrin et al. 2008 ) ขั้นตอนสำหรับวิธีนี้คือ (ก) การประมาณค่าพารามิเตอร์ตาม t-1 การสังเกตครั้งแรก (ข) จากนั้นคำนวณการทำนายและการวัดความแตกต่างสำหรับการสังเกตใหม่ต่อไป (เช่นใช้เพิ่มขึ้นใน WSSE หรือ G2 ส่วนโดย สังเกตใหม่ถัดไป), (ค) ทำซ้ำขั้นตอนนี้สำหรับแต่ละสังเกตใหม่ตามมาและสะสมความแตกต่างในการสังเกตทั้งหมดที่จะผลิตข้อผิดพลาดสะสมทำนาย (APE) (ง) ในที่สุดก็เลือกรุ่นที่มีขนาดเล็กที่สุด APE ภายใต้สมมติฐานบางวิธี prequential เลือกรูปแบบเดียวกันเป็นวิธีการแบบเบย์

ผลลัพธ์ (ไทย) 3:

การตรวจสอบและข้ามวิธี

อีกสองวิธีสามารถใช้ซ้อนกัน และ / หรือ ไม่ซ้อนกันแบบ เกณฑ์การเปรียบเทียบรูปแบบจะขึ้นอยู่กับต่อไปนี้ง่ายที่จะใช้ขั้นตอน : ( 1 ) ชุดของเงื่อนไขการทดลองแบ่งเป็นสองส่วนย่อย–ชุดสอบเทียบและทดสอบชุด( 2 ) ข้อมูลทั้งหมดที่ได้จากการสอบเทียบชุดของเงื่อนไขที่ใช้ประมาณค่าพารามิเตอร์ของแบบจำลอง ( 3 ) ค่าพารามิเตอร์ที่คำนวณจากการเวทีได้ถูกใช้เพื่อสร้างใหม่ระหว่างการคาดการณ์สำหรับข้อมูลที่ได้จากชุดของเงื่อนไขที่ทดสอบ( 4 ) ทำนายความถูกต้องของแบบจำลองภายใต้เงื่อนไขการทดสอบจะใช้เพื่อเปรียบเทียบและประเมินการแข่งขันรุ่น

ข้ามการตรวจสอบผลงานที่แตกต่าง เงื่อนไขทั้งหมดที่ใช้สำหรับการสอบเทียบและจุดข้อมูลใด ๆ ได้มีโอกาสเท่าเทียมกันที่จะถูกเลือกสำหรับการปรับแต่งเวที ในกรณีนี้ชุดข้อมูลจะแบ่งออกเป็นสองส่วนย่อยของข้อมูลและการตั้งค่าของจุดข้อมูลและชุดทดสอบของจุดข้อมูล อีกครั้งค่าประมาณการจากการตั้งค่าและพารามิเตอร์เหล่านี้เดียวกันจะใช้ทำนายชุดทดสอบ

เมื่อเปรียบเทียบทั้งสองวิธีเราดูข้ามขั้นตอนการตรวจสอบตัวอย่างข้อมูลจากเงื่อนไขทั้งหมดสำหรับการปรับระยะส่วนการจำกัดจำนวนของจุดข้อมูลอย่างชัดเจนสำหรับการสอบเทียบเวทีบางส่วนของเงื่อนไข ( ไม่อนุญาตให้ตัวแปรที่จะพอดีกับข้อมูลใด ๆจากเงื่อนไขการทดสอบ ) ข้ามการตรวจสอบจะเป็นประโยชน์สำหรับขนาดตัวอย่างขนาดเล็ก แต่เมื่อขนาดตัวอย่างเพิ่มขึ้น มันเริ่มชอบรุ่นที่ซับซ้อนมากขึ้น ( บราวน์ , 2000 ) ในทางตรงกันข้ามGeneralization เกณฑ์ที่สามารถใช้เพื่อเลือกรูปแบบที่เรียบง่ายเช่นนี้ได้ขยายได้ดีกว่ารูปแบบซับซ้อนมากขึ้นแม้จะมีขนาดใหญ่มาก ขนาดตัวอย่าง ( busemeyer และวัง , 2000 ) ข้อจำกัดที่สำคัญอันหนึ่งของการเป็นเกณฑ์ว่า ต้อง หนึ่ง สมมติว่า พารามิเตอร์เดียวกันใช้ทั้งการสอบเทียบและทดสอบเงื่อนไข

ตัวอย่างอานและเพื่อนร่วมงาน ( 2008 ) เมื่อเปรียบเทียบค่าโน้มเอียง ( pvl ) เมื่อเทียบกับค่าเฉลี่ย ( evl ) รูปแบบการเรียนรู้โดยใช้การสอน พวกเขาจะประมาณค่าพารามิเตอร์ของแต่ละรุ่น โดยรุ่นหนึ่งของ IGT ,และพวกเขาก็ใช้พารามิเตอร์เหล่านี้เดียวกันเพื่อทำนายประสิทธิภาพในรุ่นที่แตกต่างกันของ IGT ที่เงินเดือนถูกผลิตรูปแบบที่แตกต่างกันมากของตัวเลือกทางพฤติกรรมศาสตร์ พวกเขาพบว่า pvl ทำนายประสิทธิภาพในการทดสอบเงื่อนไขที่ดีกว่า evl รุ่นให้บรรจบหลักฐานก่อนหน้านี้สรุปตามการเปรียบเทียบแบบจำลอง BIC .

เพิ่งพัฒนารูปแบบการเปรียบเทียบวิธีการที่เรียกว่าขั้นตอน prequential ( shiffrin et al . , 2008 ) ขั้นตอนสำหรับวิธีนี้คือ ( ก ) ค่าพารามิเตอร์ตาม− 1 ทีก่อนค่า ( B ) แล้วคำนวณการทำนายและวัดความแตกต่างสำหรับการสังเกตต่อไปใหม่ ( เช่นใช้เพิ่มใน wsse หรือ G2 ส่วนโดยให้สังเกตต่อไปใหม่ ) , ( c ) ทำซ้ำขั้นตอนนี้สำหรับแต่ละที่ตามมาแบบใหม่และสะสมความขัดแย้งในการสังเกตเพื่อผลิตข้อผิดพลาดการทำนายสะสม ( APE ) , ( D ) ก็เลือกแบบที่มีลิงเล็ก ภายใต้สมมติฐานบางอย่างวิธี prequential เลือกแบบเดียวกับวิธีเบส์ .