Measures of the Magnitude of DIF (E

Measures of the Magnitude of DIF (Effect size)
Two points are noteworthy at this juncture. First, as per usual in statistical
hypothesis testing, the test statistic should accompanied by some measure of the
magnitude of the effect. This is necessary because small sample sizes can hide interesting
statistical effects whereas large sample sizes (like the ones found in typical psychometric
studies) can point to statistically significant findings where the effect is quite small and
meaningless (Kirk, 1996). Second, I endorse the advice of Zumbo and Hubley (1998)
who urge researchers to report effect sizes for both statistically significant and for
statistically non-significant results. Following this practice, with time the psychometric
community will have amassed an archive of effects for both statistically significant and
Theory and Methods of DIF 27
non-significant DIF and therefore we can eventually move away from the somewhat
arbitrary standards set by Cohen (1992).
Measuring the magnitude of DIF follows, as it should, the same strategy as the
statistical hypothesis testing except that one only works with the R-squared values at each
step. Zumbo and Thomas (1997) indicate that an examination of both the 2-df Chi-square
test (of the likelihood ratio statistics) in logistic regression and a measure of effect size is
needed to identify DIF. Without an examination of effect size, trivial effects could be
statistically significant when the DIF test is based on a large sample size (i.e., too much
statistical power). The Zumbo-Thomas measure of effect size for R2 parallels effect size
measures available for other statistics (see Cohen, 1992).
For an item to be classified as displaying DIF, the two-degree-of-freedom Chisquared
test in logistic regression had to have had a p-value less than or equal to 0.01 (set
at this level because of the multiple hypotheses tested) and the Zumbo-Thomas effect size
measure had to be at least an R-squared of 0.130. Pope (1997) has applied a similar
criterion to binary personality items. It should be noted that Gierl and his colleagues
(Gierl & McEwen, 1998, Gierl, Rogers, and Klinger, 1999) have adopted a more
conservative criteria (i.e., the requisite R-squared for DIF is smaller) for the Zumbo-
Thomas effect size in the context of educational measurement. They have also shown
that the Zumbo-Thomas effect size measure is correlated with other DIF techniques like
the Mantel-Haenszel and SIBTEST hence lending validity to the method.
In summary, I have found that a useful practice is to compute the R-squared effect
for both (a) uniform DIF, and (b) a simultaneous test of uniform and non-uniform DIF.
This strategy is useful because one is able to take advantage of the hierarchical nature of
DIF modeling and therefore compare the R-squared for uniform DIF with the
simultaneous uniform and non-uniform DIF to gage a sense of the magnitude or nonuniform
DIF. The examples will demonstrate this approach.

ผลลัพธ์ (ไทย) 1:

มาตรการของขนาด DIF (ผลขนาด)สองจุดสำคัญที่นี้ juncture ครั้งแรก ตามปกติในทางสถิติการทดสอบสมมติฐาน การทดสอบสถิติควรมาพร้อมกับวัดบางขนาดของผล จำเป็นเนื่องจากขนาดตัวอย่างขนาดเล็กสามารถซ่อนที่น่าสนใจผลทางสถิติในขณะที่ตัวอย่างขนาดใหญ่ (เช่นคนที่พบทั่วไปในไซโครเมทริกส์ศึกษา) สามารถชี้ไปที่ค้นพบที่สำคัญทางสถิติซึ่งผลที่ได้คือค่อนข้างเล็ก และความหมาย (Kirk, 1996) ที่สอง ฉันรับรองคำแนะนำของ Zumbo และ Hubley (1998)ที่กระตุ้นให้นักวิจัยรายงานผลขนาด สำหรับทั้งสองอย่างมีนัยสำคัญทางสถิติ และผลทางสถิติไม่ใช่นัยสำคัญ ต่อการปฏิบัตินี้ กับเวลาในไซโครเมทริกส์ชุมชนจะได้ไว้เก็บผลสำหรับทั้งสองอย่างมีนัยสำคัญทางสถิติ และทฤษฎีและวิธีการของ DIF 27ไม่สำคัญ DIF และดังนั้นเราสามารถย้ายจากค่อนข้างกำหนดมาตรฐานที่กำหนด โดยโคเฮน (1992)การวัดขนาดของ DIF ดังนี้ ตามที่ควร ยุทธศาสตร์เดียวกันยกเว้นว่าหนึ่งทำงานเฉพาะกับ R squared ค่าแต่ละการทดสอบสมมติฐานทางสถิติขั้นตอนการ Zumbo และ Thomas (1997) ระบุว่า การตรวจสอบทั้งไคสแควร์ 2 dfทดสอบ (จากสถิติอัตราส่วนโอกาส) ในการถดถอยโลจิสติกและการวัดผลขนาดไม่จำเป็นต้องระบุ DIF. โดยไม่มีการตรวจสอบขนาดของผลกระทบ ผลกระทบเล็กน้อยอาจจะนัยสำคัญทางสถิติเมื่อทดสอบ DIF ตามขนาดตัวอย่างขนาดใหญ่ (เช่น มากเกินไปพลังทางสถิติ) วัด Zumbo โทมัสขนาดผลสำหรับแนว R2 ผลขนาดมาตรการสำหรับสถิติอื่น ๆ (ดูโคเฮน 1992)สำหรับสินค้าที่จัดประเภทเป็น DIF, Chisquared สององศาของเสรีภาพในการแสดงทดสอบในการถดถอยโลจิสติกจะมีค่า p น้อยกว่า หรือเท่ากับ 0.01 (ชุดในระดับนี้เนื่องจากสมมติฐานหลายทดสอบ) และขนาดผล Zumbo โทมัสวัดก็จะเป็นน้อย R-squared ของ 0.130 สมเด็จพระสันตะปาปา (1997) ได้ใช้การคล้ายเกณฑ์บุคลิกภาพไบนารีรายการ มันควรจะตั้งข้อสังเกตว่า Gierl และเพื่อนร่วมงานของเขา(Gierl & McEwen, 1998, Gierl โรเจอร์ และ Klinger, 1999) ได้นำมาใช้มากขึ้นเกณฑ์การอนุรักษ์ (เช่น สแบน squared R สำหรับ DIF มีขนาดเล็ก) สำหรับ Zumbo -โทมัสขนาดผลในบริบทของการศึกษาวัด พวกเขายังได้แสดงว่า Zumbo โทมัสผลวัดขนาดมีความสัมพันธ์กับเทคนิคอื่น ๆ DIF เช่นHaenszel หิ้งและ SIBTEST จึง ให้ยืมมีผลบังคับใช้เป็นวิธีการในสรุป ได้พบว่า การปฏิบัติที่เป็นประโยชน์คือการ คำนวณผล R squared(ก) เครื่องแบบ DIF และ (ข) การทดสอบพร้อมกันของ DIF. สม่ำเสมอ และไม่สม่ำเสมอกลยุทธ์นี้มีประโยชน์เนื่องจากสามารถใช้ประโยชน์จากธรรมชาติของลำดับชั้นสร้างโมเดล DIF และดังนั้นจึง เปรียบเทียบ R squared สำหรับ DIF เหมือนกันกับการDIF กันสม่ำเสมอ และไม่สม่ำเสมอให้ความรู้สึกของขนาดหรือ nonuniform-gageDIF. ตัวอย่างจะสาธิตวิธีการนี้

ผลลัพธ์ (ไทย) 2:

มาตรการของขนาดของ DIF (ผลขนาด) เดอะ
สองจุดที่น่าสังเกตในช่วงหัวเลี้ยวหัวต่อนี้ ครั้งแรกตามปกติในทางสถิติ
ทดสอบสมมติฐานสถิติทดสอบควรมาพร้อมกับวัดบาง
ขนาดของผลกระทบ นี้เป็นสิ่งจำเป็นเพราะขนาดกลุ่มตัวอย่างขนาดเล็กสามารถซ่อนที่น่าสนใจ
ผลกระทบทางสถิติในขณะที่ขนาดตัวอย่างขนาดใหญ่ (เช่นคนที่พบในทางจิตวิทยาทั่วไป
การศึกษา) สามารถชี้ไปที่ผลการวิจัยอย่างมีนัยสำคัญที่มีผลกระทบที่ค่อนข้างเล็กและ
ความหมาย (เคิร์ก, 1996) ประการที่สองผมรับรองคำแนะนำของ Zumbo และ Hubley (1998) เดอะ
ที่กระตุ้นให้นักวิจัยที่จะรายงานผลขนาดสำหรับทั้งนัยสำคัญทางสถิติและ
ผลทางสถิติที่ไม่ใช่อย่างมีนัยสำคัญ ต่อไปนี้การปฏิบัตินี้กับเวลาที่ทางจิตวิทยา
ชุมชนจะมี amassed เก็บของผลกระทบของทั้งสองอย่างมีนัยสำคัญและ
ทฤษฎีและวิธีการ DIF 27
DIF ไม่ใช่อย่างมีนัยสำคัญและดังนั้นในที่สุดเราก็สามารถย้ายออกไปจากที่ค่อนข้าง
มาตรฐานที่กำหนดโดยพลโคเฮน (1992)
การวัดขนาดของ DIF ดังต่อไปนี้ตามที่มันควรจะเป็นกลยุทธ์เดียวกับ
การทดสอบสมมติฐานทางสถิติยกเว้นว่าหนึ่งจะทำงานเฉพาะกับค่า R-Squared ในแต่ละ
ขั้นตอน Zumbo และโทมัส (1997) แสดงให้เห็นว่าการตรวจสอบของทั้ง 2 DF Chi-square
test (สถิติอัตราส่วนความเป็นไปได้) ในการถดถอยโลจิสติกและการวัดขนาดของผลกระทบที่จะ
จำเป็นในการระบุ DIF โดยไม่ต้องสอบขนาดมีผลผลกระทบเล็กน้อยอาจจะมี
นัยสำคัญทางสถิติเมื่อทดสอบ DIF จะขึ้นอยู่กับขนาดของกลุ่มตัวอย่างขนาดใหญ่ (เช่นมากเกินไป
อำนาจสถิติ) Zumbo-Thomas วัดขนาดมีผลสำหรับ R2 แนวขนาดของผล
มาตรการใช้ได้สำหรับสถิติอื่น ๆ (ดูโคเฮน, 1992)
สำหรับรายการที่จะจัดเป็นแสดง DIF ทั้งสององศาของเสรีภาพ Chisquared
ทดสอบการถดถอยโลจิสติกจะต้องมี p-value น้อยกว่าหรือเท่ากับ 0.01 (ชุด
ที่ระดับเพราะสมมติฐานหลายการทดสอบนี้) และ Zumbo-Thomas ขนาดของผล
การวัดจะต้องมีอย่างน้อย R-squared ของ 0.130 สมเด็จพระสันตะปาปา (1997) ได้ใช้คล้าย
เกณฑ์ไปยังรายการบุคลิกภาพไบนารี มันควรจะตั้งข้อสังเกตว่า Gierl และเพื่อนร่วมงานของเขา
(Gierl & ประทีป 1998 Gierl โรเจอร์สและ Klinger, 1999) ได้รับการยอมรับมากขึ้น
เกณฑ์อนุรักษ์นิยม (เช่นจำเป็น R-Squared สำหรับ DIF มีขนาดเล็ก) สำหรับ Zumbo-
โทมัสมีผลบังคับใช้ ขนาดในบริบทของการวัดการศึกษา พวกเขาได้แสดงให้เห็น
ว่ามาตรการ Zumbo-Thomas ขนาดของผลมีความสัมพันธ์กับเทคนิคอื่น ๆ เช่น DIF
หิ้ง-Haenszel และซิบเทสท์จึงให้ยืมความถูกต้องกับวิธีการ
ในการสรุปฉันได้พบว่ามีการปฏิบัติที่เป็นประโยชน์ในการคำนวณผล R-Squared
สำหรับทั้ง (ก) เครื่องแบบ DIF และ (ข) การทดสอบพร้อมกันของเครื่องแบบและนอกเครื่องแบบ DIF
กลยุทธ์นี้เป็นประโยชน์เพราะใครสามารถที่จะใช้ประโยชน์จากธรรมชาติลำดับชั้นของ
DIF การสร้างแบบจำลองและดังนั้นจึงเปรียบเทียบ R-Squared สำหรับ DIF ฟอร์มกับ
เครื่องแบบพร้อมกันและนอกเครื่องแบบ DIF เพื่อประกันความรู้สึกของขนาดหรือไม่สม่ำเสมอ
DIF ตัวอย่างที่จะแสดงให้เห็นวิธีการนี้

ผลลัพธ์ (ไทย) 3:

การวัดขนาดของดิฟ ( ขนาดพิเศษ )สองจุดที่น่าสังเกตในช่วงหัวเลี้ยวหัวต่อนี้ แรก ตามปกติในทางสถิติการทดสอบสมมติฐาน การทดสอบทางสถิติควรมีบางวัดของขนาดของผล นี้เป็นสิ่งจำเป็นเนื่องจากขนาดตัวอย่างขนาดเล็กสามารถซ่อนที่น่าสนใจสถิติผลและขนาดตัวอย่างใหญ่ ( เหมือนที่พบในทั่วไปทางจิตวิทยาการศึกษา ) อย่างมีนัยสำคัญทางสถิติที่สามารถชี้ผล ผลค่อนข้างเล็ก และไม่มีความหมาย ( เคิร์ก , 1996 ) ประการที่สอง ผมยอมรับคำแนะนำของ zumbo ฮับลีย์ ( 1998 ) และที่กระตุ้นให้นักวิจัยรายงานผลขนาดทั้งสองอย่างมีนัยสำคัญทางสถิติและนัยสำคัญทางสถิติผลอย่างมีนัยสำคัญ ต่อไปนี้การปฏิบัตินี้ ด้วยเวลาทางจิตวิทยาชุมชนจะสะสมเก็บผลทั้งสองอย่างมีนัยสำคัญทางสถิติและทฤษฎีและวิธีการแยก 27พบว่าระดับและดังนั้นเราสามารถย้ายหนีไปในที่สุด จาก ค่อนข้างกฎเกณฑ์ มาตรฐานที่กำหนดโดยโคเฮน ( 1992 )การวัดขนาดของดิฟดังนี้เท่าที่ควร กลยุทธ์ เหมือนกันสถิติการทดสอบสมมติฐาน ยกเว้นตัวนั้นใช้ได้เฉพาะกับ r-squared คุณค่าที่แต่ละขั้นตอน zumbo โธมัส ( 1997 ) ระบุว่า การตรวจสอบของทั้ง 2-df ไคสแควร์ทดสอบ ( ของความน่าจะเป็นและสถิติถดถอยแบบอัตราส่วนในการวัดขนาดของผล คือต้องระบุแยก . โดยไม่มีการตรวจสอบขนาดของผล ผล เล็กน้อย อาจจะอย่างมีนัยสำคัญทางสถิติที่ระดับการทดสอบจะขึ้นอยู่กับขนาดตัวอย่างใหญ่ ( เช่น มากเกินไปสถิติพลังงาน ) การ zumbo โทมัส การวัดขนาดของผลสำหรับ R2 เปรียบเทียบผลขนาดมาตรการที่ใช้ได้สำหรับสถิติอื่น ๆ ( ดู โคเฮน , 1992 )สำหรับรายการที่ถูกจัดว่าเป็น แสดงระดับ สองระดับของเสรีภาพ chisquaredทดสอบในการถดถอยโลจิสติกต้องมี p-value น้อยกว่าหรือเท่ากับ 0.01 ( ชุดในระดับนี้ เพราะหลายสมมติฐานทดสอบ ) และ zumbo โทมัส ผลขนาดวัดต้องมีอย่างน้อยหนึ่ง r-squared ของ 0.130 . สมเด็จพระสันตะปาปา ( 1997 ) ได้ใช้ที่คล้ายกันเกณฑ์การรายการบุคลิกภาพแบบไบนารี มันควรจะสังเกตว่า gierl และเพื่อนร่วมงานของเขา( gierl & McEwen , 1998 , gierl โรเจอร์ และ คลิงเงอร์ , 1999 ) ได้ประกาศใช้เพิ่มเติมเกณฑ์อนุรักษ์นิยม ( เช่น r-squared ที่จําเป็นสําหรับ DIF ขนาดเล็ก ) สำหรับ zumbo -โทมัสขนาดอิทธิพลในบริบทของการวัดผลการศึกษา พวกเขายังได้แสดงที่ zumbo โทมัส ผลขนาดวัด มีความสัมพันธ์กับระดับเทคนิคอื่นๆ เช่นอะ - ตรวจสอบความถูกต้องและจึงให้ยืมเพื่อวิธีการในการสรุป , ฉันได้พบว่า การฝึกที่มีประโยชน์คือการ คำนวณ r-squared ผลทั้ง ( A ) dif เครื่องแบบ และ ( ข ) การทดสอบพร้อมกันสม่ำเสมอและไม่สม่ำเสมอดิฟ .กลยุทธ์นี้จะเป็นประโยชน์เพราะสามารถใช้ประโยชน์จากการของธรรมชาติจึงเปรียบเทียบ r-squared สำหรับชุดดิฟกับแบบดิฟชุดพร้อมกัน และความไม่สม่ำเสมอของดิฟ gage ความรู้สึกของขนาดหรือความไม่สม่ำเสมอดิฟ . ตัวอย่างจะแสดงให้เห็นถึงวิธีการนี้