1. Introduction
Large-scale, lengthy, multi-situated programmes with multiple
actors pose specific challenges for their evaluators. This is the case
of the National Reading Plan (NRP) – a public policy initiative
whose aim is to increase literacy levels and reading habits among
the Portuguese population. Since it began, the NRP has always
provided for its own external evaluation, which the authors of the
present article undertook throughout the five years of the first
phase of the programme (2006–2011). The evaluation system that
was designed for the NRP made it possible to continuously and
systematically monitor the programme’s development and implementation.
The chosen methodological strategies were essentially
based on a mixed-method approach. This article presents the
methodological operations that were conducted and the contributions
obtained by mixing methods. Particular emphasis is placed
on the potentials of mixed methods for evaluating complex and
wide-ranging programmes.
Current evaluation theory and practice tend to be pluralist,
encompassing a variety of perspectives, analytical dimensions,
methods, data and social actors. There is an understanding of the
need to apply multiple forms of knowledge in each evaluation,
inasmuch as social problems are becoming ever more complex.Various authors have felt that a considered integration of data
sources, methodological procedures and analytical strategies is
decisive to the ability to generate more sustained and insightful
evaluation (Greene, Benjamin, & Goodyear, 2001; Stern, 2005).
The mixed-method approach, which has been widely employed
and discussed in evaluation practice, forms part of this trend.
Mixed methods have progressively become generalised in the
evaluation domain, with a tendency to a more systematic use since
the late 1980s (Creswell & Clark, 2006). Large numbers of recent
evaluation studies on a variety of programmes have included the
use of mixed methods (e.g. Berry et al., 2009; Celik, Abma, Klinge, &
Widdershoven, 2011; Giannakaki, 2005; Grammatikopoulos,
Zachopoulou, Tsangaridou, Liukkonen, & Pickup, 2008; Luo &
Dappen, 2005; Protheroe, Bower, & Chew-Graham, 2007; Siraj-
Blatchford, Sammons, Taggart, Sylva, & Melhuish, 2006; Townsend,
Floersch, & Findling, 2010).
The mixed-method approach offers the evaluation practice
many forms of potential. Greene, Caracelli, and Graham (1989)
developed a typology of purposes for mixed-method evaluation
designs, which includes triangulation, complementarity, development,
initiation, and expansion. Subsequently, Greene et al. (2001)
specified that the better understanding of the social phenomena,
which is the overall purpose for mixing methods, means enhanced
validity and credibility of inferences, greater comprehensiveness of
findings, more insightful understandings, and increased value
consciousness and diversity.
A central idea shared by researchers and specialists in the
evaluation field is that combining methods provides a broader,
deeper knowledge than any one method on its own. Quantitativeresearch leads to a generalisation of results and supplies relatively
standardised information. Qualitative research is more likely to
capture the circumstances and settings in which people talk,
highlighting cultural and contextual dimensions. Mixed-method
research makes it possible to capitalise the best of each component
and take advantage of each method’s strong points (Creswell &
Clark, 2006; Protheroe et al., 2007; Stufflebeam, 2001).
Researchers have also emphasised that mixed-method research
incentivates a widening and confrontation of social actors’ points
of view and allows a verification of the convergence or discrepancy
between the data obtained by the different methods (Creswell &
Clark, 2006). The combination of quantitative and qualitative
methods in the same study helps to understand more comprehensively
the phenomenon under analysis and to increase the validity
of the research or evaluation process (Olsen, 2004; Teddlie &
Tashakkori, 2003).
Mixed methods have recently been the object of important
methodological reviews (Bryman, 2012; Small, 2011; Tashakkori
& Teddlie, 2010). These reviews have analysed the debates about
mixed methods, and the ways in which they have been used in
both social scientific research and evaluation studies. In mixed
data-collection studies, different methods are employed for
different reasons, but also in varied sequences within the overall
research process and with different levels of nesting of the
multiple data sources. In addition to mixed data-collection
studies, which combine different kinds of data, Small (2011)
distinguishes mixed data-analysis studies, which combine
different analytical strategies. This type of study also combines
methods in the analytical stage, applying quantitative techniques
to qualitative data, or vice versa, or merging different analytical
approaches or techniques in a single study (Rihoux & Ragin, 2009).
The ways of combining different methods are varied, as Bryman
(2006, 2012) has shown in his systematic research on mixed
methods. He identifies and analyses different ways of combining
quantitative and qualitative research: triangulation, offset,
completeness, process, different research questions, explanation,
unexpected results, instrument development, sampling, credibility,
context, illustration, utility, confirm and discover, diversity of
views, and enhancement.
Like empirical research in general, evaluation studies have been
combining methods in the most diverse and sometimes innovative
ways, as well as from multiple perspectives. In the evaluation of
complex programmes, the mixed-method approach has for
example been applied within the overall framework of theorydriven
evaluations. To Chen (1990, 2006), much of a programme’s
potential outcomes should be theory-based, extracted from
existing social-science theory and the programme models that
indicate how each programme is supposed to work. Chen proposes
that we resort to theory and prior knowledge in order to construct
models of the programme-implementation system, in such a way
as to produce evaluations that supply more information about how
to achieve the desired effects. He underlines the articulation of
theory – which should support and provide the grounds for the
design, implementation and evaluation of programmes – with the
use of mixed methods.
1. บทนำโครงการขนาดใหญ่ ยาว หลายแห่งหลายนักแสดงก่อให้เกิดความท้าทายเฉพาะสำหรับ evaluators ความ ในกรณีนี้ของชาติอ่านแผน (NRP) – การริเริ่มนโยบายสาธารณะจุดมุ่งหมายจะเพิ่มระดับการวัดและอ่านพฤติกรรมระหว่างประชากรภาษาโปรตุเกส ตั้งแต่เริ่มต้น NRP ได้เสมอสำหรับการประเมินภายนอกของตัวเอง ซึ่งผู้เขียนของการบทความนำเสนอ undertook ตลอด 3 ปีแรกระยะของโครงการ (2006-2011) ระบบการประเมินที่ถูกออกแบบมาสำหรับ NRP ที่ทำไปอย่างต่อเนื่อง และระบบตรวจสอบของโครงการพัฒนาและการใช้งานกลยุทธ์ methodological ท่านถูกหลักใช้วิธีผสมวิธีการ บทความนี้นำเสนอการการดำเนินงาน methodological ที่ได้ดำเนินการและการจัดสรรได้ โดยวิธีการผสม เน้นเฉพาะอยู่ในศักยภาพของวิธีการผสมการประเมินซับซ้อน และโปรแกรมเกมทฤษฎีการประเมินปัจจุบันมัก pluralistครอบคลุมความหลากหลายของมุมมอง มิติวิเคราะห์วิธี ข้อมูล และสังคมนักแสดง มีความเข้าใจเกี่ยวกับการต้องใช้ความรู้ในการประเมินแต่ละ หลายรูปแบบinasmuch เป็นปัญหาสังคมจะกลายเป็นซับซ้อนเคย ต่าง ๆ ผู้เขียนรู้สึกว่าที่รวมเป็นข้อมูลแหล่งที่มา ตอน methodological และวิเคราะห์กลยุทธ์เป็นเด็ดขาดเพื่อความสามารถในการสร้าง sustained และลึกซึ้งมากขึ้นประเมิน (Greene เบนจามิน และ Goodyear, 2001 สเติร์น 2005)วิธีวิธีผสม ซึ่งได้ทำงานได้อย่างกว้างขวางและในการประเมินการปฏิบัติ เป็นส่วนหนึ่งของแนวโน้มนี้วิธีการผสมมีความก้าวหน้าเป็น generalised ในการโดเมนที่ประเมิน มีแนวโน้มที่จะใช้ระบบมากขึ้นนับตั้งแต่ปลายทศวรรษ 1980 (Creswell & Clark, 2006) จำนวนมากล่าสุดรวมประเมินผลการศึกษาความหลากหลายของโปรแกรมการใช้วิธีผสม (เช่นเบอร์รี่ et al., 2009 Abma, Celik, Klinge, &Widdershoven, 2011 Giannakaki, 2005 GrammatikopoulosZachopoulou, Tsangaridou, Liukkonen และรถ กระบะ 2008 สวนและDappen, 2005 Protheroe, Bower และเคี้ยว เกรแฮม 2007 Siraj-Blatchford, Sammons, Taggart, Sylva, & Melhuish, 2006 จัหFloersch, & Findling, 2010)วิธีผสมวิธีการมีการปฏิบัติประเมินหลายรูปแบบของศักยภาพ Greene, Caracelli และเกรแฮม (1989)พัฒนาจำแนกวัตถุประสงค์ในการประเมินผลวิธีผสมออกแบบ ที่สาม complementarity พัฒนาเริ่มต้น และขยายตัว Et Greene al. (2001) ในเวลาต่อมาระบุที่เข้าใจของปรากฏการณ์ทางสังคมซึ่งเป็นจุดประสงค์การผสมวิธีการ วิธีการปรับปรุงหรือไม่มีผลบังคับใช้และความน่าเชื่อถือของ inferences, comprehensiveness มากกว่าของพบ ยิ่งลึกซึ้งเปลี่ยนความเข้าใจ และมูลค่าเพิ่มขึ้นสติและความหลากหลายแนวความคิดที่สำคัญที่ใช้ร่วมกัน โดยนักวิจัยและผู้เชี่ยวชาญในการฟิลด์การประเมินผลเป็นที่รวมวิธีให้กว้างรู้ลึกกว่าวิธีใด ๆ หนึ่งต่างหาก Quantitativeresearch ไป generalisation ผลลัพธ์ และอุปกรณ์ค่อนข้างข้อมูลแบบ การวิจัยเชิงคุณภาพเป็นไปได้มากสถานการณ์และการตั้งค่าในที่คนพูดเน้นมิติทางวัฒนธรรม และบริบท วิธีผสมงานวิจัยที่ทำให้ capitalise ส่วนประกอบแต่ละและใช้ประโยชน์จากจุดแข็งของแต่ละวิธี (Creswell &คลาร์ก 2006 Protheroe et al., 2007 Stufflebeam, 2001)นักวิจัยยังมี emphasised ที่วิจัยวิธีผสมการขยับขยาย incentivates และเผชิญหน้าสังคมแสดงคะแนนมุมมอง และให้ตรวจสอบการบรรจบกันหรือความขัดแย้งระหว่างข้อมูลที่ได้ โดยวิธีการต่าง ๆ (Creswell &คลาร์ก 2006) เชิงปริมาณ และเชิงคุณภาพวิธีการเดียวกับศึกษาช่วยให้เข้าใจครบถ้วนมากขึ้นปรากฏการณ์ภาย ใต้การวิเคราะห์ และ การเพิ่มความของกระบวนการวิจัยหรือประเมินผล (โอลเซ็น 2004 Teddlie และTashakkori, 2003)วิธีการผสมได้รับวัตถุที่สำคัญรีวิว methodological (Bryman, 2012 เล็ก 2011 Tashakkoriและ Teddlie, 2010) รีวิวนี้มี analysed ดำเนินการเกี่ยวกับวิธีการผสม และวิธีการที่ใช้ในงานวิจัยทางวิทยาศาสตร์สังคมและการศึกษาประเมินผลการ ในการผสมการศึกษารวบรวมข้อมูล วิธีว่าจ้างสำหรับเหตุผลต่าง ๆ แต่ยังอยู่ในลำดับที่แตกต่างกันภายในโดยรวมวิจัยกระบวนการ และเนสติ้งของระดับต่าง ๆแหล่งข้อมูลหลายแหล่ง นอกจากนี้การผสมรวบรวมข้อมูลศึกษา ซึ่งรวมชนิดของข้อมูล เล็ก (2011)ศึกษาวิเคราะห์ข้อมูลผสม ซึ่งรวมแตกต่างกลยุทธ์การวิเคราะห์ที่แตกต่างกัน การศึกษาชนิดนี้ยังรวมวิธีการในการวิเคราะห์ขั้นตอน ใช้เทคนิคเชิงปริมาณข้อมูลเชิงคุณภาพ การ รองในทางกัน หรือผสานต่างวิเคราะห์แนวทางหรือเทคนิคในการศึกษาเดียว (Rihoux & Ragin, 2009)วิธีการรวมวิธีการต่าง ๆ แตกต่างกัน เป็น Bryman(2006, 2012) ได้แสดงให้เห็นในของระบบวิจัยแบบผสมวิธี เขาระบุ และวิเคราะห์วิธีการรวมการวิจัยเชิงปริมาณ และเชิงคุณภาพ: สาม ออฟเซ็ตสมบูรณ์ กระบวนการ คำถามวิจัยที่แตกต่าง อธิบายผลลัพธ์ที่ไม่คาดคิด เครื่องมือพัฒนา ฝีมือ ความน่าเชื่อถือเนื้อหา ภาพประกอบ อรรถ ประโยชน์ ยืนยัน และค้น พบ ความหลากหลายของมุมมอง และเพิ่มประสิทธิภาพการเช่นผลการวิจัย โดยทั่วไป การศึกษาประเมินได้รวมวิธีการหลากหลายที่สุด และบางครั้งนวัตกรรมวิธี รวมทั้งจากหลายมุมมอง ในการประเมินโปรแกรมซับซ้อน มีวิธีวิธีผสมสำหรับตัวอย่างการใช้ภายในกรอบโดยรวมของ theorydrivenประเมิน การเฉิน (1990, 2006), มากของหลักสูตรผลลัพธ์ที่เป็นไปได้ควรเป็นทฤษฎีพื้นฐาน สกัดจากทฤษฎีสังคมศาสตร์ที่มีอยู่และโปรแกรมรุ่นที่ระบุว่า แต่ละโครงการควรทำงาน เฉินเสนอให้เราหันไปทฤษฎีและความรู้เดิมเพื่อสร้างรูปแบบของระบบการใช้งานโปรแกรม ในลักษณะเป็นการประเมินที่จัดหาข้อมูลเพิ่มเติมเกี่ยวกับวิธีเพื่อให้บรรลุผลที่ต้องการ เขาขีดเส้นใต้วิคิวลาร์ของทฤษฎี – ซึ่งควรสนับสนุน และให้เหตุผลออกแบบ งานและการประเมินโครงการ – มีการใช้วิธีการผสม
การแปล กรุณารอสักครู่..

1 . บทนำ
ขนาดใหญ่ยาวหลายตั้งอยู่โครงการกับนักแสดงหลาย
ก่อให้เกิดความท้าทายที่เฉพาะสำหรับผู้ที่ ของพวกเขา เป็นกรณีนี้
ของแผนแห่งชาติอ่าน ( NRP ) ซึ่งนโยบายริเริ่ม
ที่มีจุดมุ่งหมายเพื่อเพิ่มระดับของการรู้หนังสือและการอ่าน
โปรตุเกสประชากร ตั้งแต่เริ่ม , NRP เสมอ
ไว้สำหรับการประเมินภายนอกของตัวเองซึ่งผู้เขียนบทความนำเสนอ
รับหน้าที่ตลอดห้าปีของเฟสแรก
ของโปรแกรม ( พ.ศ. 2549 – 2553 ) ระบบการประเมินที่
ถูกออกแบบสำหรับ NRP ทำให้มันเป็นไปได้ที่จะตรวจสอบอย่างต่อเนื่องและการพัฒนา
อย่างเป็นระบบของโปรแกรมและการเลือกกลยุทธ์ใน .
เป็นหลักบนพื้นฐานของการวิจัยแบบผสานวิธีบทความนี้นำเสนอวิธีการที่ดำเนินการและปฏิบัติการ
ผลงานที่ได้จากการผสมของวิธีการ โดยเฉพาะจะเน้นที่ศักยภาพของวิธีการผสม
เพื่อประเมินโครงการที่ซับซ้อนและหลากหลาย .
ทฤษฎีและการปฏิบัติการประเมินในปัจจุบันมีแนวโน้มที่จะ pluralist
, ครอบคลุมความหลากหลายของมุมมอง การวิเคราะห์มิติ
วิธี ข้อมูล และนักแสดงคนอื่นๆ ในสังคมมีความเข้าใจของ
ต้องใช้หลายรูปแบบของความรู้ในแต่ละด้าน
เพราะปัญหาทางสังคมจะกลายเป็นที่เคยซับซ้อนมากขึ้น ผู้เขียนต่าง ๆ ได้รู้สึกว่าถือเป็นการบูรณาการแหล่งข้อมูล
, ขั้นตอนและกลยุทธ์ในการวิเคราะห์
แตกหักเพื่อความสามารถในการสร้างและประเมินผลอย่างต่อเนื่องมากขึ้นลึกซึ้ง
( กรีน เบนจามิน & Goodyear , 2001ท้ายเรือ , 2005 ) .
วิธีผสม ซึ่งมีการใช้กันอย่างแพร่หลาย
และกล่าวถึงในการประเมินผลการปฏิบัติ รูปแบบส่วนหนึ่งของแนวโน้มนี้ .
วิธีการผสมผู้กลายเป็นหลักใน
การประเมินโดเมนที่มีแนวโน้มที่จะเป็นระบบมากกว่า ใช้ตั้งแต่ปลายทศวรรษที่ 1980 (
เคร วล&คลาร์ก , 2006 ) ตัวเลขขนาดใหญ่ของล่าสุด
ประเมินผลการศึกษาในความหลากหลายของโปรแกรมที่ได้รวม
ใช้วิธีการผสม ( เช่น Berry et al . , 2009 ; celik abma Klinge & , ,
widdershoven 2011 ; giannakaki , 2005 ; grammatikopoulos
zachopoulou tsangaridou liukkonen , , , , &รถกระบะ , 2008 ; หลัว&
dappen , 2005 ; พราเทอโร ซุ้ม& , เคี้ยว , เกรแฮม , 2007 ; siraj -
blatchford แซมมอนส์แท๊ก ซิลวา , , , , & เมล ช , 2006 ; floersch Townsend ,
,
& findling , 2010 )วิธีการผสมวิธีการเสนอการประเมินผลการปฏิบัติ
หลายรูปแบบของศักยภาพ กรีน , caracelli และเกรแฮม ( 1989 )
พัฒนารูปแบบของวัตถุประสงค์สำหรับการผสมโดย
ออกแบบ ซึ่งรวมถึงการพัฒนาส่งเสริมการพัฒนา
, การเริ่มต้นและการขยาย ต่อมากรีน et al . ( 2544 ) ระบุว่า เข้าใจ
ของปรากฏการณ์ทางสังคมซึ่งเป็นวัตถุประสงค์โดยรวมของการวิธีการ วิธีการเพิ่มความถูกต้องและความน่าเชื่อถือของ
ใช้มากขึ้น , ความครอบคลุมของข้อมูลที่ลึกซึ้งมากขึ้น ความเข้าใจ และเพิ่มค่า
รวมสติ และความหลากหลาย ความคิดที่ใช้ร่วมกันโดยนักวิจัย และผู้เชี่ยวชาญในสาขาที่
ประเมินผลรวมวิธีการให้กว้างขึ้น
ความรู้ลึกกว่าใด ๆ วิธีของมันเองquantitativeresearch นำไปสู่ generalisation ของผลลัพธ์และวัสดุค่อนข้าง
มาตรฐานข้อมูล การวิจัยเชิงคุณภาพ คือ มากกว่า
จับสถานการณ์และการตั้งค่าที่คนคุย
เน้นมิติวัฒนธรรมและบริบท วิธีการวิจัย
ผสมทำให้มันเป็นไปได้ที่จะใช้ประโยชน์ที่ดีที่สุดของแต่ละองค์ประกอบ
และใช้ประโยชน์จากวิธีการของแต่ละจุด strong ( เคร วล&
คลาร์ก , 2006 ; พราเทอโร et al . , 2007 ; บีม ( 2001 ) .
นักวิจัยยังเน้นว่า วิธีวิจัยแบบผสม incentivates ขยับขยายและการเผชิญหน้าของนักแสดง ' สังคมจุด
ของมุมมองและช่วยให้การตรวจสอบการลู่เข้าหรือความขัดแย้ง
ระหว่าง ข้อมูลที่ได้จากวิธีการที่แตกต่างกัน ( เคร วล&
คลาร์ก , 2006 )การรวมกันของวิธีการเชิงปริมาณและเชิงคุณภาพ
ในการศึกษาเดียวกันช่วยให้เข้าใจมากขึ้นกว้าง
ปรากฏการณ์ภายใต้การวิเคราะห์และเพิ่มความถูกต้อง
ของการวิจัยหรือการประเมินกระบวนการ ( Olsen , 2004 ; teddlie &
tashakkori , 2003 ) .
วิธีการผสมที่เพิ่งได้รับวัตถุของรีวิววิธีการสำคัญ
( bryman 2555 ขนาดเล็ก , 2011 ; tashakkori
& teddlie , 2010 )ความคิดเห็นเหล่านี้ได้วิเคราะห์การอภิปรายเกี่ยวกับ
วิธีการผสมและวิธีการที่พวกเขาได้ถูกนำมาใช้ในการวิจัยทางวิทยาศาสตร์และการศึกษาสังคม
ทั้งโครงการ ในการศึกษาคอลเลกชัน
ผสมข้อมูล วิธีการที่แตกต่างกันใน
เหตุผลที่แตกต่างกัน แต่ยัง ในลำดับที่แตกต่างกันภายในกระบวนการวิจัยโดยรวมและระดับของการทำรังด้วย
หลายของแหล่งข้อมูลนอกจากการศึกษาคอลเลกชัน
ข้อมูลผสม ซึ่งรวมชนิดที่แตกต่างกันของข้อมูลขนาดเล็ก ( 2011 )
แตกต่างการศึกษาการวิเคราะห์ข้อมูลผสม ซึ่งรวม
กลยุทธ์วิเคราะห์ต่าง ๆ การศึกษาประเภทนี้ยังรวม
วิธีการในขั้นตอนการวิเคราะห์ การใช้เทคนิคเชิงปริมาณ
ข้อมูลเชิงคุณภาพ หรือในทางกลับกัน หรือรวมกัน
วิเคราะห์ต่าง ๆวิธีหรือเทคนิคในการศึกษาเดียว ( rihoux & ragin , 2009 ) .
วิธีของการรวมวิธีการที่แตกต่างกันจะแตกต่างกัน เช่น bryman
( ปี 2012 ) มีแสดงในการวิจัยอย่างเป็นระบบของเขาเกี่ยวกับวิธีการผสม
เขาระบุ และวิเคราะห์วิธีการที่แตกต่างกันของการรวมการวิจัยเชิงปริมาณและเชิงคุณภาพ : สามเหลี่ยม
,
( ออฟเซ็ท , กระบวนการที่แตกต่างกัน คำถามการวิจัย อธิบาย
,ผลลัพธ์ที่ไม่คาดคิด , เครื่องมือการพัฒนา , ตัวอย่าง , ความน่าเชื่อถือ ,
บริบท , ภาพประกอบ , สาธารณูปโภค , ยืนยันและค้นพบความหลากหลายของ
ชอบ มุมมอง และการเพิ่มประสิทธิภาพของ การวิจัยเชิงประจักษ์โดยทั่วไปการประเมินผลการศึกษามี
รวมวิธีการในความหลากหลายมากที่สุดและบางครั้งนวัตกรรม
วิธี รวมทั้งจากหลายมุมมอง ในการประเมินผลของ
โปรแกรมที่ซับซ้อนวิธีการผสมวิธีการได้
ตัวอย่างถูกใช้ภายในกรอบโดยรวมของ theorydriven
ประเมินผล . เฉิน ( พ.ศ. 2549 ) , มากของโครงการที่มีศักยภาพควรทฤษฎีผล
ตามสกัดจากทฤษฎีทางสังคมศาสตร์ที่มีอยู่และโปรแกรมรุ่นที่
ระบุวิธีการแต่ละโปรแกรมควรจะทำงาน เฉิน เสนอ
ที่เราใช้ทฤษฎีและความรู้เดิมเพื่อสร้างแบบจำลองของระบบการดำเนินงานโครงการ
เป็น วิธีการผลิตการประเมินผลที่ให้ข้อมูลเพิ่มเติมเกี่ยวกับวิธีการ
เพื่อให้เกิดผลตามต้องการ เขาขีดเส้นใต้ตามทฤษฎีของ
( ซึ่งควรสนับสนุนและให้พื้นที่สำหรับ
การออกแบบและประเมินผลของโครงการฯ กับ
ใช้วิธีการผสม
การแปล กรุณารอสักครู่..
