Two important lessons from this stu

Two important lessons from this study include the importance of looking at systems change and the
necessity of delineating and understanding overall patterns and dynamics of change before attributing
causation. The causal mapping process used as a main analytical approach highlighted the linkages
and interrelatedness of change over time, as well as the synergistic effects of interventions.
Reviewing the causal maps reveals the nonlinear nature of change and the fact that it is difficult and
in some ways not useful to disaggregate change a priori to the program or project level but indicates
that an ongoing process of developing scenarios and causal narratives at varying levels of detail is a
desirable part of the overall research process.
By combining conventional program-specific TOC approaches as a starting point for each sector
in conducting final analysis, it was possible to identify the overlap between different programmaticor
sector-specific TOCs and how outcomes originally conceived within sectors interacted across sectors
over time to provide long-term impact in peoples’ lives—extending the delineation of analysis
to the complex system level. For instance, changes in attitudes toward the role of women and girls in
society cannot be limited to a single program or development intervention, as these changes cut
across education, health, and livelihoods.
When considered together, this emphasized the complex nature of change and the risks associated
with the narrow view that any one program or even sector can directly ‘‘cause’’ long-term
change at a population level. Program or sector-specific theories of change for any one community,
locality, or sector will never capture the wider context, or even consider the assumptions and
externalities inherent outside that self-induced boundary. Unless an integrated approach is
adapted to development planning incorporating all actors and stakeholders (government, donors,
private sector, and civil society), there will inevitably be missed opportunities for the identification
of synergies and complementary cross-sector dynamics as well as instances where interventions
‘‘pull in different directions’’ or where a promising start is not followed through due to
changing priorities or theories.
As such the implementation of prospective studies similar in method to the current assignment
but designed to provide a strategic framework to future program planning may be considered. This
would provide a strong evidence base for contextual understanding and allow more effective planning
of interventions on a longer time horizon and with a cross-sectoral appreciation.
Building on this, the scope and focus of theory-based evaluations, both in short-term and longterm,
project-specific evaluations, should be considered within the context of systems change. The
recent use of theory-based evaluation in development programs, investigating and testing causal
links in a project’s or program’s impact theory, attempts to address this by explicitly stating assumptions
in proposing relationships between program interventions and outputs and development outcomes
and impacts (Coryn et al., 2011; Donaldson, 2007).
Koleros et al. 13
Downloaded from aje.sagepub.com at Naresuan University on January 23, 2016
The Koshi hills study shows that long-term socioeconomic change is routed in systems, complex
and multisectoral (or rather ‘non-sectoral’), and attempting to deal with this complexity in a projectfocused
evaluation by controlling for these additional factors in analysis (as is standard practice in
economic analysis) on a short, program-defined time horizon, does not provide the analytic sophistication
necessary to answer research questions confidently. This raises questions about the value for
money or utility of the usual (heavily economic) project-level impact evaluations of interventions of
known effectiveness at scale.
These questions are a source of much debate among impact evaluators and development stakeholders.
Results from this study can contribute to this debate, demonstrating the complexity of socioeconomic
change over a long horizon and the inability of any one programme to demonstrate
attributable and sustained changes in a population over time in isolation and in the absence of the
myriad of other changes at play at any given time.
Even if attribution is demonstrated in the short term by one intervention through rigorous evaluation
methods, our study argues that it is methodologically difficult within a project focus to fully
understand how this attributable change will interact positively or negatively with the other developmental
and external factors to which a population is routinely exposed over time. Particularly
when attempting to demonstrate attribution at the higher impact levels of change, it is well understood
that program-level attribution declines and contribution increases.
This issue of estimating attribution in the long term might lead one to conclude that impact

ผลลัพธ์ (ไทย) 2:

สองบทเรียนที่สำคัญจากการศึกษาครั้งนี้ ได้แก่ ความสำคัญของการมองไปที่การเปลี่ยนแปลงระบบและที่
จำเป็นของโทบี้และความเข้าใจรูปแบบโดยรวมและการเปลี่ยนแปลงของการเปลี่ยนแปลงก่อนเจตนารมณ์
สาเหตุ ขั้นตอนการทำแผนที่เชิงสาเหตุที่นำมาใช้เป็นวิธีการวิเคราะห์หลักที่เน้นการเชื่อมโยง
และ interrelatedness ของการเปลี่ยนแปลงอยู่ตลอดเวลาเช่นเดียวกับการเสริมฤทธิ์ของการแทรกแซง.
ทบทวนแผนที่สาเหตุเผยให้เห็นธรรมชาติที่ไม่เป็นเชิงเส้นของการเปลี่ยนแปลงและความจริงที่ว่ามันเป็นเรื่องยากและ
ในบางวิธี ไม่ได้มีประโยชน์ในการ disaggregate เปลี่ยนเบื้องต้นในการเขียนโปรแกรมหรือโครงการระดับ แต่แสดงให้เห็น
ว่าเป็นกระบวนการต่อเนื่องในการพัฒนาสถานการณ์และเรื่องเล่าสาเหตุในระดับที่แตกต่างกันของรายละเอียดที่เป็น
ส่วนหนึ่งที่พึงประสงค์ของกระบวนการวิจัยโดยรวม.
โดยการรวมการชุมนุมเฉพาะโปรแกรม TOC วิธีการเป็น จุดเริ่มต้นสำหรับแต่ละภาค
ในการดำเนินการวิเคราะห์สุดท้ายมันเป็นไปได้ที่จะระบุทับซ้อนระหว่าง programmaticor ที่แตกต่างกัน
สารบัญเฉพาะภาคและวิธีผลลัพธ์ที่รู้สึกเดิมภายในภาคปฎิสัมพันธ์ในภาค
ในช่วงเวลาที่จะให้ผลกระทบในระยะยาวของประชาชนชีวิตขยายการกำหนดเขต ของการวิเคราะห์
ไปถึงระดับระบบที่ซับซ้อน ยกตัวอย่างเช่นการเปลี่ยนแปลงในทัศนคติที่มีต่อบทบาทของผู้หญิงและเด็กผู้หญิงใน
สังคมไม่สามารถถูก จำกัด ให้ใช้โปรแกรมหรือการพัฒนาแทรกแซงเดียวเช่นการเปลี่ยนแปลงเหล่านี้ตัด
ผ่านการศึกษาสุขภาพและการดำรงชีวิต.
เมื่อพิจารณาร่วมกันนี้เน้นธรรมชาติที่ซับซ้อนของการเปลี่ยนแปลงและ ความเสี่ยงที่เกี่ยวข้อง
กับมุมมองแคบ ๆ ที่คนใดคนหนึ่งหรือแม้กระทั่งโปรแกรมภาคสามารถโดยตรง '' สาเหตุ '' ในระยะยาว
การเปลี่ยนแปลงในระดับประชากร โปรแกรมหรือทฤษฎีเฉพาะภาคของการเปลี่ยนแปลงใดชุมชนหนึ่ง
ท้องที่หรือภาคจะไม่จับบริบทที่กว้างขึ้นหรือแม้กระทั่งการพิจารณาสมมติฐานและ
ภายนอกโดยธรรมชาติภายนอกที่เขตแดนตนเองที่เกิดขึ้น เว้นแต่จะมีวิธีการแบบบูรณาการจะ
ปรับให้เข้ากับการวางแผนพัฒนาผสมผสานนักแสดงและผู้มีส่วนได้เสีย (รัฐบาลผู้บริจาคทุก
ภาคเอกชนและภาคประชาสังคม) โอกาสย่อมจะมีพลาดสำหรับการระบุ
ของการทำงานร่วมกันและเสริม Dynamics ข้ามภาคเช่นเดียวกับกรณีที่การแทรกแซง
'' ดึงในทิศทางที่แตกต่าง '' หรือสถานที่ที่เป็นจุดเริ่มต้นที่มีแนวโน้มจะไม่ผ่านไปเนื่องจากการ
เปลี่ยนแปลงลำดับความสำคัญหรือทฤษฎี.
เช่นการดำเนินงานของการศึกษาในอนาคตที่คล้ายกันในวิธีการที่จะได้รับมอบหมายในปัจจุบัน
แต่ออกแบบมาเพื่อให้กรอบยุทธศาสตร์เพื่อการวางแผนโครงการในอนาคตอาจ พิจารณา. นี้
จะให้หลักฐานที่แข็งแกร่งสำหรับการทำความเข้าใจบริบทและอนุญาตให้มีการวางแผนที่มีประสิทธิภาพมากขึ้น
ของการแทรกแซงในเวลาขอบฟ้าอีกต่อไปและมีความชื่นชมข้ามภาค.
อาคารนี้ขอบเขตและความสำคัญของการประเมินผลทฤษฎีที่ใช้ทั้งในระยะสั้นและ ในระยะยาว,
การประเมินผลโครงการเฉพาะควรได้รับการพิจารณาในบริบทของการเปลี่ยนแปลงระบบ
การใช้งานที่ผ่านมาของการประเมินผลทฤษฎีที่ใช้ในการพัฒนาโปรแกรมการสืบสวนและการทดสอบสาเหตุ
การเชื่อมโยงในทางทฤษฎีผลกระทบต่อโครงการหรือโปรแกรมพยายามที่จะอยู่ที่นี้โดยระบุชัดเจนสมมติฐาน
ในการเสนอความสัมพันธ์ระหว่างการแทรกแซงโปรแกรมและผลและผลการพัฒนา
และผลกระทบ (Coryn et al, . 2011. โดนัลด์ 2007)
Koleros et al, 13
ดาวน์โหลดจาก aje.sagepub.com ที่มหาวิทยาลัยนเรศวรวันที่ 23 มกราคมปี 2016
Koshi Hills ศึกษาแสดงให้เห็นว่าการเปลี่ยนแปลงทางเศรษฐกิจและสังคมในระยะยาวจะถูกส่งในระบบที่ซับซ้อน
และหลายภาค (หรือมากกว่าไม่ใช่ภาค ') และความพยายามที่จะจัดการกับ ความซับซ้อนนี้ใน projectfocused
การประเมินผลโดยการควบคุมปัจจัยเพิ่มเติมเหล่านี้ในการวิเคราะห์ (ตามมาตรฐานการปฏิบัติใน
การวิเคราะห์ทางเศรษฐกิจ) ในระยะสั้นระยะเวลาโปรแกรมที่กำหนดไว้ไม่ได้ให้ความซับซ้อนในการวิเคราะห์
ความจำเป็นที่จะตอบคำถามการวิจัยได้อย่างมั่นใจ นี้ทำให้เกิดคำถามเกี่ยวกับค่าสำหรับ
เงินหรือประโยชน์ของปกติ (ทางเศรษฐกิจอย่างหนัก) การประเมินผลกระทบโครงการระดับของการแทรกแซงของ
ประสิทธิผลเป็นที่รู้จักในระดับ.
คำถามเหล่านี้เป็นแหล่งที่มาของการถกเถียงกันมากในหมู่ผู้ประเมินผลกระทบและผู้มีส่วนได้ส่วนเสียในการพัฒนา.
ผลจากการศึกษานี้สามารถ มีส่วนร่วมในการอภิปรายครั้งนี้แสดงให้เห็นถึงความซับซ้อนของทางด้านเศรษฐกิจ
เปลี่ยนแปลงเกินกว่าขอบฟ้ายาวและไร้ความสามารถของโปรแกรมใด ๆ หนึ่งที่จะแสดงให้เห็นถึง
การเปลี่ยนแปลงส่วนที่และยั่งยืนในกลุ่มประชากรในช่วงเวลาในการแยกและในกรณีที่ไม่มีที่
มากมายของการเปลี่ยนแปลงอื่น ๆ ที่เล่นที่ใดก็ตาม เวลา.
แม้ว่าการระบุแหล่งที่จะแสดงให้เห็นในระยะสั้นโดยหนึ่งในการแทรกแซงผ่านการประเมินอย่างเข้มงวด
วิธีการศึกษาของเราระบุว่ามันเป็น methodologically ยากภายในโฟกัสโครงการอย่างเต็มที่
เข้าใจว่าการเปลี่ยนแปลงสุทธิส่วนนี้จะมีผลกระทบทางบวกหรือลบกับการพัฒนาอื่น ๆ
ปัจจัยและภายนอก ที่ประชากรมีการสัมผัสเป็นประจำเมื่อเวลาผ่านไป โดยเฉพาะอย่างยิ่ง
เมื่อพยายามที่จะแสดงให้เห็นถึงการแสดงที่มาในระดับที่สูงขึ้นส่งผลกระทบของการเปลี่ยนแปลงมันเป็นที่เข้าใจกันดี
ว่าการลดลงของระดับโปรแกรมระบุแหล่งที่มาและผลงานที่เพิ่มขึ้น.
ปัญหาของการประเมินระบุแหล่งที่มาในระยะยาวซึ่งอาจนำไปสู่หนึ่งที่จะสรุปผลกระทบที่