Criticisms of and Rationales for Increased Use of Theory-Driven Evaluation
Even before the emergence of the theory-driven evaluation movement, Campbell (1984) was skeptical
that social science theories could be used to design and evaluate social programs, given poor
substantive theories and existing programs that often are watered down to be politically and administratively
acceptable. Nevertheless, since its wider acceptance as a legitimate form of evaluation,
theory-driven evaluation has been the subject of both pleas for increased use and sharp criticism.
Scriven and Stufflebeam, in particular, have been two of the approach’s most vocal critics.
In 1998, Scriven published ‘‘Minimalist Theory: The Least Theory that Practice Requires’’ partly
in response to what he viewed as some of Chen’s (1980, 1990, 1994) logical flaws in proclaiming
that program theory should play a more prominent role in evaluation practice. One of Scriven’s
Table 1. Core Principles and Subprinciples of Theory-Driven Evaluation
1. Theory-driven evaluations/evaluators should formulate a plausible program theory
a. Formulate program theory from existing theory and research (e.g., social science theory)
b. Formulate program theory from implicit theory (e.g., stakeholder theory)
c. Formulate program theory from observation of the program in operation/exploratory research (e.g.,
emergent theory)
d. Formulate program theory from a combination of any of the above (i.e., mixed/integrated theory)
2. Theory-driven evaluations/evaluators should formulate and prioritize evaluation questions around a program
theory
a. Formulate evaluation questions around program theory
b. Prioritize evaluation questions
3. Program theory should be used to guide planning, design, and execution of the evaluation under consideration
of relevant contingencies
a. Design, plan, and conduct evaluation around a plausible program theory
b. Design, plan, and conduct evaluation considering relevant contingencies (e.g., time, budget, and use)
c. Determine whether evaluation is to be tailored (i.e., only part of the program theory) or comprehensive
4. Theory-driven evaluations/evaluators should measure constructs postulated in program theory
a. Measure process constructs postulated in program theory
b. Measure outcome constructs postulated in program theory
c. Measure contextual constructs postulated in program theory
5. Theory-driven evaluations/evaluators should identify breakdowns, side effects, determine program effectiveness
(or efficacy), and explain cause-and-effect associations between theoretical constructs
a. Identify breakdowns, if they exist (e.g., poor implementation, unsuitable context, and theory failure)
b. Identify anticipated (and unanticipated), unintended outcomes (both positive and negative) not postulated
by program theory
c. Describe cause-and-effect associations between theoretical constructs (i.e., causal description)
d. Explain cause-and-effect associations between theoretical constructs (i.e., causal explanation)
i. Explain differences in direction and/or strength of relationship between program and outcomes
attributable to moderating factors/variables
ii. Explain the extent to which one construct (e.g., intermediate outcome) accounts for/mediates the
relationship between other constructs
Coryn et al. 205
major premises in that paper was that the role of evaluators is to determine only whether programs
work, not to explain how they work. To attempt explanations, Scriven argues, is beyond the capability
of most evaluators (e.g., ‘‘ . . . as in the classic example of aspirin, one may have no theory of
how it works to produce its effects, but nevertheless be able to predict its effects and even its side
effects—because we found out what they were from direct experimentation. That does not require a
theory’’ [1998, p. 60]), is not part of the evaluator’s primary task of determining merit and worth
(1991), and ‘‘the extra requirement is possession of the correct (not just the believed) logic or theory
of the program, which typically requires more than—and rarely requires less than—state-of-the-art
subject-matter expertise’’ (2007, p. 17). To evaluate, he argues, does not require substantive theory
about the object being evaluated and that such theories are:
. . . a luxury for the evaluator, since they are not even essential for explanations, and are not essential
for 99% of all evaluations. It is a gross though frequent blunder to suppose that ‘‘one needs a theory
of learning to evaluate teaching.’’ One does not need to know anything at all about electronics to evaluate
electronic typewriters, even formatively, and having such knowledge often adversely affects summative
evaluation. (Scriven, 1991, p. 360)
วิจารณ์ของและ Rationales สำหรับใช้ขับเคลื่อนทฤษฎีประเมินเพิ่มขึ้นแม้ก่อนเกิดการเคลื่อนไหวผลักดันทฤษฎีประเมิน Campbell (1984) ถูกสงสัยว่า สามารถใช้ทฤษฎีสังคมศาสตร์การออกแบบ และประเมินโปรแกรมสังคม ให้คนจนทฤษฎีแน่นและโปรแกรมที่มีอยู่ซึ่งมักจะเป็นผู้ให้ทางการเมือง และ administrativelyยอมรับได้ อย่างไรก็ตาม เนื่องจากการยอมรับกว้างเป็นของการประเมินประเมินทฤษฎีขับเคลื่อนได้รับเรื่องของทั้ง pleas สำหรับใช้เพิ่มและวิจารณ์ชาร์ปScriven และ Stufflebeam โดยเฉพาะ ได้สองนักวิจารณ์สุด vocal ของวิธีในปี 1998, Scriven ประกาศ ''นี่ทฤษฎี:เดอะน้อยทฤษฎีที่ปฏิบัติต้องใช้ '' บางส่วนในการตอบสนองสิ่งที่เขาดูเป็นบางส่วนของเฉิน (1980, 1990, 1994) ข้อบกพร่องทางตรรกะในการปิดทฤษฎีโปรแกรมนั้นควรเล่นบทบาทที่โดดเด่นมากในทางปฏิบัติการประเมิน หนึ่งของ Scrivenตารางที่ 1 แกนหลักและ Subprinciples การประเมินทฤษฎีขับเคลื่อน1. ทฤษฎีขับเคลื่อนการ ประเมิน/evaluators ควรกำหนดทฤษฎีโปรแกรมเป็นไปได้อ.กำหนดโปรแกรมทฤษฎีอยู่ทฤษฎีและการวิจัย (เช่น ทฤษฎีสังคมศาสตร์)b. กำหนดทฤษฎีโปรแกรมจากทฤษฎีนัย (เช่น ทรรศนะทฤษฎี)c. กำหนดโปรแกรมทฤษฎีจากการสังเกตของโปรแกรมในการวิจัยเชิงบุกเบิก/การดำเนินงาน (เช่นทฤษฎีโผล่ออกมา)d. กำหนดทฤษฎีโปรแกรมจากการรวมกันใด ๆ ข้างต้น (เช่น ผสม/รวมทฤษฎี)2. ทฤษฎีขับเคลื่อนการ ประเมิน/evaluators ควรกำหนด และจัดลำดับความสำคัญคำถามประเมินรอบโปรแกรมทฤษฎีอ.กำหนดคำถามประเมินรอบทฤษฎีโปรแกรมb. ความสำคัญคำถามประเมิน3. ควรใช้ทฤษฎีโปรแกรมจะแนะนำการวางแผน ออกแบบ และการดำเนินการของการประเมินระหว่างการพิจารณาของ contingencies ที่เกี่ยวข้องa. ออกแบบ วางแผน และดำเนินการประเมินรอบทฤษฎีโปรแกรมเป็นไปได้b. ออกแบบ วางแผน และดำเนินการประเมินพิจารณา contingencies เกี่ยวข้อง (เช่น เวลา งบประมาณ และใช้)ค.ตรวจสอบว่าสามารถปรับการประเมิน (เช่น เพียงส่วนหนึ่งของทฤษฎีโปรแกรม) หรือครอบคลุม4. ทฤษฎีขับเคลื่อนการ ประเมิน/evaluators ควรวัด postulated โปรแกรมทฤษฎีโครงสร้างอ.วัดโครงสร้างกระบวนการ postulated ทฤษฎีโปรแกรมเกิดโครงสร้างผล postulated ทฤษฎีโปรแกรมวัดค.วัดโครงสร้างบริบท postulated ทฤษฎีโปรแกรม5. ทฤษฎีขับเคลื่อนการ ประเมิน/evaluators ควรระบุแบ่ง ข้างเคียง ตรวจสอบประสิทธิภาพของโปรแกรม(หรือประสิทธิภาพ), และอธิบายความสัมพันธ์ของสาเหตุ และผลระหว่างทฤษฎีโครงสร้างอ.ระบุแบ่ง ถ้าพวกเขามีอยู่ (เช่น งานดี เนื้อหาไม่เหมาะสม และทฤษฎีความล้มเหลว)b. ระบุคาดการณ์ (และสภาวะ), ตั้งใจผล (ทั้งบวก และลบ) ไม่ postulatedโดยทฤษฎีโปรแกรมค.อธิบายความสัมพันธ์ของสาเหตุ และผลระหว่างทฤษฎีโครงสร้าง (เช่น สาเหตุอธิบาย)d. อธิบายความสัมพันธ์ของสาเหตุ และผลระหว่างทฤษฎีโครงสร้าง (เช่น สาเหตุอธิบาย)i. อธิบายความแตกต่างในทิศทางหรือความแข็งแกร่งของความสัมพันธ์ระหว่างโปรแกรมและผลลัพธ์รวมการดูแลปัจจัย/ตัวแปรii. อธิบายขอบเขตบัญชีใดโครงสร้างหนึ่ง (เช่น กลางผล) / mediates การความสัมพันธ์ระหว่างโครงสร้างอื่น ๆรับเชิญ et al. 205สถานที่หลักที่กระดาษได้ว่า บทบาทของ evaluators จะกำหนดเฉพาะว่าโปรแกรมทำงาน ไม่ต้องอธิบายวิธีการทำงาน พยายามคำอธิบาย Scriven จน จะอยู่นอกเหนือความสามารถในการของ evaluators ส่วนใหญ่ (เช่น, ''...ตัวอย่างคลาสสิกของแอสไพริน หนึ่งอาจมีทฤษฎีไม่วิธีการทำงานเพื่อให้ผล แต่อย่างไรก็ตาม สามารถทำนายผลและแม้แต่ด้านความลักษณะพิเศษคือเนื่องจากเราพบพวกเขาได้จากการทดลองโดยตรง ที่ไม่ต้องการทฤษฎี '' [1998, p. 60]), ไม่ใช่ส่วนหนึ่งของงานหลักการถ่วงดุล ของการกำหนดค่าตอบแทน และคุ้มค่า(1991), และ "ความต้องการพิเศษที่จะครอบครองถูกต้อง (ไม่ใช่แค่การเชื่อ) ตรรกะหรือทฤษฎีโปรแกรม ซึ่งโดยปกติต้องมากกว่า — และไม่ค่อยต้องน้อยกว่า — รัฐ-of-the-artความเชี่ยวชาญเรื่อง '' (2007, p. 17) การประเมิน เขาจน ไม่ต้องใช้ทฤษฎีแน่นเกี่ยวกับวัตถุกำลังประเมินและ ทฤษฎีดังกล่าวคือ:...หรูสำหรับถ่วงดุล เนื่องจากพวกเขาไม่จำเป็นสำหรับคำอธิบาย และไม่จำเป็น99% ของการประเมินทั้งหมด จึงพลาดรวมว่าบ่อย ๆ ว่าที่ '' หนึ่งต้องมีทฤษฎีการเรียนรู้เพื่อประเมินการสอน '' หนึ่งไม่จำเป็นต้องรู้อะไรเลยเกี่ยวกับอิเล็กทรอนิกส์เพื่อประเมินเครื่องพิมพ์ดีดอิเล็กทรอนิกส์ แม้ formatively และมีความรู้ดังกล่าวมักจะส่งผลกระทบ summativeการประเมินผล (Scriven, 1991, p. 360)
การแปล กรุณารอสักครู่..
