5. Evaluating impacts using mixed methods
The combination of quantitative and qualitative methods made
important contributions to the evaluation of the NRP, namely withregard to the identification and analysis of its impacts. The use of
mixed methods allowed us to collect information on the multiple
impacts of the Plan in Portuguese society over time, and facilitated
their interpretation and corroboration. Although the main purpose
of this article is not to present results of the evaluation, some of
them are mentioned below in relation to the methodological
strategies, explaining how mixed methods contributed to obtain
data on different types of impact.
We gathered information with regard to five impact
dimensions (Costa, Pegado, A´ vila, & Coelho, 2011). The first
two refer to the NRP’s impacts on intermediate target groups
(teachers, librarians, parents, adult-education professionals,
health professionals), including: (i) these actors’ adherence to
and involvement in the reading-promotion programmes; and (ii)
intensification and improvement of their reading-promotion
practices. The other three concern the NRP’s impacts on the final
target groups (students, be they children or young persons;
parents; adults and the population in general), including: (iii)
changes in attitudes towards reading; (iv) the intensification of
reading practices; and (v) the development of reading skills.
Table 5 sets out the methods used to evaluate each of the
dimensions of the NRP’s impacts.
Where the intermediate target groups’ adherence to and
involvement in the NRP’s reading-promotion programmes was
concerned, the results of the school survey showed that there was a
generalised adherence to the implementation of recommended
practices among teachers and other actors – particularly school
librarians. The accounts obtained from interviews conducted as
part of the case studies made it possible to deepen, clarify and
illustrate these results and gave us a greater sensitivity to the
diversity of situations.
The evaluation of this domain also entailed document analysis –
particularly of project records and the items on the NRP that
appeared in the media. The interviews of NRP managers and of theagents that served as intermediaries between them and the people
who promote actions in the field also enabled us to gather
perceptions about the actors’ receptivity towards the various NRP
projects.
Concerning to the subject of intensification and improvement
of reading-promotion practices by intermediate target groups,
the information we obtained from the school survey suggested
that the NRP led to an increase in reading-promotion activities
in virtually every school. It also revealed that innovation in
teachings practices was one of the effects that increased most
in percentage terms between the first and fourth years of
the NRP. In addition to a broad, extensive vision of the situation,
the survey gave us an evolving perspective on a number of
indicators.
At the same time, the case studies allowed us to get a socially
and culturally contextualised picture of subjectivities and
experiences, which helped to interpret certain indicators. We
gained a better understanding of the creation or strengthening
of dynamics between professionals tasked with promoting
reading, and the ways in which this was happening. We saw
very frequent accounts by teachers who expressed their
pleasure at the fact that, for the first time, they had been
working in articulation with other disciplines. We also collected
examples of the activities and strategies that were developed
and employed in order to expose students to reading. Both
elements that made the process easier, and others that made it
harder, were also better understood as a result of the
observation and interviews we carried out as part of the case
studies, and of interviews of key actors. The latter provided
information about the way in which dynamics related with
reading and the promotion of reading were developing around
the country.
In the same domain, it is important to note the usefulness of the
results of the survey of hospitals and health centres. Besides
contributing data on the NRP-related practices in the healthcare
field, they were very helpful when it came to selecting a diversified
sample for certain case studies. They made it possible to cover a
wider range of situations.
In terms of the impacts on the final target groups – more
specifically in the field of attitudes – the results of the school
survey showed that almost all teachers consider that students’
interest in books has increased. The barometer allowed us to see
that there has been a growing perception of the importance of
reading among young people between the ages of 15 and 24.
Among other aspects, the barometer made it easier to compare
social groups, and this particular age group stood out as the one for
which the indicator varied most over time. The case-study
interviews essentially corroborated these data, providing in-depth
information on the way in which the final target groups were
experiencing the programme’s activities and were being positively
affected by it. For example, most student interviewees said they
were pleased with the NRP activities.
Both the case studies and the direct observation of awareness
campaigns also revealed the important impact of the creation of a
graphic image representing the NRP among target groups such as
families. This image was present, for example, in the books
recommended by the Plan, which had a sticker with the Plan’s logo
in them. The interviews and the observation indicate that this NRP
sticker in the books was widely recognised and associated with
their quality and suitability.
The results of the surveys and case studies also allowed us to
understand how the final target groups’ reading practices had
evolved. In their survey responses, teachers reported having a
very favourable view of the NRP’s impact on the intensification of
students’ reading habits, particularly in the classroom, but also
during other times and in other places at school. According to
them, the NRP also contributed to increased use of libraries –
particularly school libraries – by students. Similarly, our case
studies showed that school librarians noticed a significant
increase in book loans for reading at home after the NRP was
launched. Some school librarians reported that the numbers
doubled.
This intensification of reading practices was also evident
among the adult population – particularly the adults at lifelong
learning centres. Some case-study interviewees said they
rediscovered reading during the course of the process they
experienced at the centres, and developed reading practices
which they had not possessed before. The case studies showed
the centre staff’s efforts to direct adults towards reading
material that matched their interests and to the development
of reading habits.
Regarding the impacts on reading skills, the use of mixed
methods is particularly relevant as no standardised instruments
for assessing reading performance – reading fluency or reading
comprehension tests, for example – have thus far been implemented
in the Portuguese school system. Of particular note in the
reading skills domain was the analysis of the results of the PISA
study targeted at 15-year-old students (representative samples).
According to its results, there was a positive variation in the
average performance in the reading domain in Portugal between
2000 and 2009. Portugal was one of the six OECD countries where
reading performance improved in 2009. This development means
that Portugal now stands alongside countries such as Sweden,
France and the UK and is within the OECD average (OECD, 2010a).
The international report on PISA 2009 itself states that the NRP was
one of the factors that contributed to this improvement (OECD,
2010b, p. 69).
The results of our research, taken from surveys and case
studies, converge with the PISA data. In the survey that was
applied in 2010, the great majority of schools pointed to a
significant improvement in their students’ reading and literacy
skills. The testimonies of the teachers who were interviewed
reveal the idea that the work done under the NRP was positively
reflected in students’ motivation to read, and therefore, in their
school results. Teachers and officers of reading-related associations
proved optimistic about the future, inasmuch as the first few
years of school are not only being covered, but priority is being
given to them. It is expected that the continuation of these
practices will lead to sustained impacts on students’ skills in the
longer term.
5. ประเมินผลกระทบที่ใช้ผสมวิธีการรวมกันของวิธีการเชิงปริมาณ และเชิงคุณภาพทำส่วนสำคัญต่อการประเมินของ NRP, withregard ได้แก่การระบุและการวิเคราะห์ผลกระทบของ การใช้วิธีการผสมให้เราเก็บรวบรวมข้อมูลในหลาย ๆผลกระทบของแผนในสังคมโปรตุเกสเวลา และสภาพปานกลางการตีความของพวกเขาและ corroboration แม้ว่าวัตถุประสงค์หลักบทความนี้เป็นการ นำเสนอผลการประเมินผล บางพวกเขากล่าวถึงด้านล่างเกี่ยวกับการ methodologicalกลยุทธ์ อธิบายวิธีการผสมส่วนการได้รับข้อมูลเกี่ยวกับชนิดของผลกระทบเรารวบรวมข้อมูลเกี่ยวกับผลกระทบที่ห้ามิติ (คอสตา Pegado วิ A´ และกระต่ายตุ๊กตา เกาหลี 2011) ครั้งแรก2 หมายถึงผลกระทบของ NRP กลุ่มเป้าหมายระดับกลาง(ครู librarians ผู้ปกครอง ผู้เชี่ยวชาญ ด้านการศึกษาผู้ใหญ่สุขภาพผู้เชี่ยวชาญ), รวมทั้ง: (i) ต่าง ๆ ของนักแสดงเหล่านี้จะและมีส่วนร่วมในโครงการส่งเสริมการอ่าน และ (ii)แรงและการปรับปรุงการส่งเสริมการอ่านปฏิบัติการ สามอื่น ๆ เกี่ยวกับผลกระทบของ NRP บนสุดท้ายกลุ่มเป้าหมาย (นักเรียน เป็นเด็กหรือผู้เยาว์ผู้ปกครอง ผู้ใหญ่และประชากรโดยทั่วไป), รวมทั้ง: (iii)เปลี่ยนแปลงทัศนคติอ่าน (iv แรง)ของอ่านแนวทางปฏิบัติ และ (v) การพัฒนาทักษะการอ่าน5 ตารางกำหนดวิธีที่ใช้ในการประเมินแต่ละขนาดของผลกระทบของ NRPที่ระดับปานกลางที่เป้าหมายของกลุ่มต่าง ๆ ให้ และได้มีส่วนร่วมในโครงการส่งเสริมการอ่านของ NRPเกี่ยวข้อง ผลสำรวจโรงเรียนแสดงให้เห็นว่า มีการแนะนำ generalised ต่าง ๆ การดำเนินงานของปฏิบัติระหว่างครูและนักแสดงอื่น ๆ – โดยเฉพาะอย่างยิ่งโรงเรียนlibrarians บัญชีได้รับจากดำเนินการเป็นการสัมภาษณ์ส่วนหนึ่งของกรณีศึกษาทำให้ลึกซึ้งยิ่งขึ้น การชี้แจง และแสดงผลเหล่านี้ และให้เรามีความไวมากขึ้นให้การความหลากหลายของสถานการณ์การประเมินของโดเมนนี้ยัง entailed เอกสารวิเคราะห์ –โดยเฉพาะอย่างยิ่งของเรกคอร์ดโครงการและสินค้าใน NRP ที่ปรากฏในสื่อ สัมภาษณ์ผู้จัดการ NRP และ theagents ที่ทำหน้าที่เป็นตัวกลางระหว่างพวกเขาและคนที่ส่งเสริมการดำเนินการในฟิลด์นอกจากนี้ยังช่วยให้เราสามารถรวบรวมรับรู้เกี่ยวกับตัวแสดงของ receptivity ต่อ NRP ต่าง ๆโครงการเกี่ยวข้องกับการความแรงและปรับปรุงแนวทางปฏิบัติในการส่งเสริมการอ่านโดยที่กลุ่มเป้าหมายระดับกลางข้อมูลที่เราได้จากการสำรวจโรงเรียนที่แนะนำว่า NRP ที่นำไปสู่การเพิ่มขึ้นในการส่งเสริมการอ่านในแทบทุกโรงเรียน มันยังเปิดเผยว่า นวัตกรรมในปฏิบัติธรรมเป็นหนึ่งในลักษณะที่เพิ่มขึ้นมากที่สุดในเปอร์เซ็นต์ระหว่าง ปีที่สี่แรกของNRP นอกจากวิสัยทัศน์ที่กว้าง กว้างขวางของสถานการณ์แบบสำรวจให้เรามีมุมมองที่เกิดขึ้นเป็นจำนวนตัวบ่งชี้ในเวลาเดียวกัน กรณีศึกษาทำให้เราได้มีสังคมและวัฒนธรรม contextualised ภาพของ subjectivities และประสบการณ์ ที่ช่วยแปลบางตัวบ่งชี้ เราได้รับความเข้าใจอันดี ของการสร้างหรือเพิ่มของ dynamics ระหว่างผู้เชี่ยวชาญที่รับมอบหมาย ด้วยการส่งเสริมอ่าน แล้ววิธีการนี้ได้เกิดขึ้น เราเห็นบัญชีบ่อย ๆ โดยครูแสดงความความสุขในความเป็นจริงว่า ครั้งแรก พวกเขาได้ทำงานในวิคิวลาร์กับสาขาอื่น ๆ เรายังเก็บรวบรวมตัวอย่างของกิจกรรมและกลยุทธ์ที่ได้รับการพัฒนาและเจ้าของเพื่อทำให้นักเรียนอ่าน ทั้งสองอย่างองค์ประกอบที่ทำให้กระบวนการง่ายขึ้น และอื่น ๆ ที่ทำให้มันหนัก ก็ยังดีกว่าเข้าใจเป็นผลมาจากการการสังเกตและการสัมภาษณ์ที่เราดำเนินการเป็นส่วนหนึ่งของกรณีและปัญหาการศึกษา และสัมภาษณ์นักแสดงหลักการ หลังให้ข้อมูลเกี่ยวกับวิธีการ dynamics ที่เกี่ยวข้องกับอ่านและส่งเสริมการอ่านพัฒนาสถานประเทศในโดเมนเดียวกัน มันเป็นสิ่งสำคัญโปรดทราบประโยชน์ของการผลการสำรวจของโรงพยาบาลและศูนย์สุขภาพ สำรองห้องพักข้อมูลสนับสนุนในปฏิบัติ NRP เกี่ยวข้องในการดูแลสุขภาพฟิลด์ พวกเขามากเมื่อมันมาถึงการเลือกที่หลากหลายตัวอย่างบางกรณีศึกษา พวกเขาทำเพื่อครอบคลุมการช่วงกว้างของสถานการณ์ในแง่ของผลกระทบบนสุดท้ายเป้าหมายกลุ่ม – มากโดยเฉพาะในด้านทัศนคติ – ผลลัพธ์ของโรงเรียนสำรวจพบว่า ครูผู้สอนเกือบทั้งหมดเห็นว่านักเรียนสนใจในหนังสือมีมากขึ้น บารอมิเตอร์ที่ทำให้เราดูที่มีการรับรู้การเติบโตของความสำคัญของการอ่านในหมู่เยาวชนระหว่างอายุ 15 และ 24ในด้านอื่น ๆ บารอมิเตอร์ที่ทำให้มันง่ายต่อการเปรียบเทียบกลุ่มทางสังคม และการนี้โดยเฉพาะอายุยืนออกเป็นหนึ่งในซึ่งตัวบ่งชี้แตกต่างกันมากที่สุดช่วงเวลา กรณีศึกษาการสัมภาษณ์เป็นหลัก corroborated ข้อมูลเหล่านี้ ให้ชมข้อมูลตามกลุ่มเป้าหมายสุดท้ายได้พบกิจกรรมของโครงการ และได้กำลังบวกได้รับผลกระทบโดย ตัวอย่าง ส่วนใหญ่นักเรียน interviewees กล่าวว่า พวกเขาได้สนุกกับกิจกรรม NRPกรณีศึกษาและสังเกตการณ์โดยตรงของการรับรู้ส่งเสริมการขายยังเปิดเผยผลกระทบสำคัญของการสร้างความรูปภาพแสดง NRP ระหว่างกลุ่มเป้าหมายเช่นครอบครัว รูปนี้มี ตัวอย่าง ในหนังสือแนะนำแผน ซึ่งมีสติกเกอร์ที่ มีโลโก้ของแผนในพวกเขา การสัมภาษณ์และการสังเกตการณ์บ่งชี้ว่า นี้ NRPสติกเกอร์ในหนังสืออย่างกว้างขวางยัง และเชื่อมโยงกับของคุณภาพและความเหมาะสมผลการสำรวจและกรณีศึกษายังทำให้เราเข้าใจวิธีปฏิบัติกลุ่มเป้าหมายสุดท้ายอ่านได้พัฒนา ในการตอบรับแบบสำรวจ ครูรายงานมีการมุมมองดีมากของผลกระทบของ NRP แรงของนักเรียนอ่านนิสัย โดยเฉพาะอย่างยิ่งในห้องเรียน แต่ยังระหว่างกันเวลา และสถานอื่น ๆ ที่โรงเรียน ตามที่พวกเขา NRP ส่วนการใช้เพิ่มขึ้นไลบรารี-โดยเฉพาะอย่างยิ่งโรงเรียนไลบรารี – นักเรียน กรณีทำนองเดียวกันการศึกษาพบว่า โรงเรียน librarians สังเกตเป็นสำคัญเพิ่มสินเชื่อหนังสือสำหรับการอ่านที่บ้านหลังจากได้ NRPเปิดตัว บางโรงเรียน librarians รายงานว่า หมายเลขสองเท่าแรงนี้อ่านปฏิบัติถูกยังเห็นได้ชัดในหมู่ประชากรผู้ใหญ่ – โดยเฉพาะอย่างยิ่งผู้ใหญ่ในกลางกรุงเทพศูนย์การเรียนรู้ บางกรณีศึกษา interviewees กล่าวว่า พวกเขาrediscovered อ่านระหว่างกระบวนการพวกเขามีศูนย์ และการปฏิบัติพัฒนาอ่านซึ่งพวกเขาไม่ได้ต้องมีก่อนการ กรณีศึกษาที่แสดงให้เห็นว่าความพยายามของพนักงานศูนย์ตรงผู้ใหญ่อ่านต่อวัสดุที่ตรงกับความสนใจและ การพัฒนาอ่านนิสัยเกี่ยวกับผลกระทบในการอ่านทักษะ ใช้ผสมวิธีนี้เกี่ยวข้องโดยเฉพาะอย่างยิ่งเป็นเครื่องมือแบบไม่การประเมินประสิทธิภาพการอ่าน– อ่านแคล่ว หรืออ่านทดสอบความเข้าใจ เช่น – ฉะนี้ใช้งานในระบบการเรียนภาษาโปรตุเกส เหตุใดในการreading skills domain was the analysis of the results of the PISAstudy targeted at 15-year-old students (representative samples).According to its results, there was a positive variation in theaverage performance in the reading domain in Portugal between2000 and 2009. Portugal was one of the six OECD countries wherereading performance improved in 2009. This development meansthat Portugal now stands alongside countries such as Sweden,France and the UK and is within the OECD average (OECD, 2010a).The international report on PISA 2009 itself states that the NRP wasone of the factors that contributed to this improvement (OECD,2010b, p. 69).The results of our research, taken from surveys and casestudies, converge with the PISA data. In the survey that wasapplied in 2010, the great majority of schools pointed to asignificant improvement in their students’ reading and literacyskills. The testimonies of the teachers who were interviewedreveal the idea that the work done under the NRP was positivelyreflected in students’ motivation to read, and therefore, in theirschool results. Teachers and officers of reading-related associationsproved optimistic about the future, inasmuch as the first fewyears of school are not only being covered, but priority is beinggiven to them. It is expected that the continuation of thesepractices will lead to sustained impacts on students’ skills in thelonger term.
การแปล กรุณารอสักครู่..
