5. Evaluating impacts using mixed methods
The combination of quantitative and qualitative methods made
important contributions to the evaluation of the NRP, namely withregard to the identification and analysis of its impacts. The use of
mixed methods allowed us to collect information on the multiple
impacts of the Plan in Portuguese society over time, and facilitated
their interpretation and corroboration. Although the main purpose
of this article is not to present results of the evaluation, some of
them are mentioned below in relation to the methodological
strategies, explaining how mixed methods contributed to obtain
data on different types of impact.
We gathered information with regard to five impact
dimensions (Costa, Pegado, A´ vila, & Coelho, 2011). The first
two refer to the NRP’s impacts on intermediate target groups
(teachers, librarians, parents, adult-education professionals,
health professionals), including: (i) these actors’ adherence to
and involvement in the reading-promotion programmes; and (ii)
intensification and improvement of their reading-promotion
practices. The other three concern the NRP’s impacts on the final
target groups (students, be they children or young persons;
parents; adults and the population in general), including: (iii)
changes in attitudes towards reading; (iv) the intensification of
reading practices; and (v) the development of reading skills.
Table 5 sets out the methods used to evaluate each of the
dimensions of the NRP’s impacts.
Where the intermediate target groups’ adherence to and
involvement in the NRP’s reading-promotion programmes was
concerned, the results of the school survey showed that there was a
generalised adherence to the implementation of recommended
practices among teachers and other actors – particularly school
librarians. The accounts obtained from interviews conducted as
part of the case studies made it possible to deepen, clarify and
illustrate these results and gave us a greater sensitivity to the
diversity of situations.
The evaluation of this domain also entailed document analysis –
particularly of project records and the items on the NRP that
appeared in the media. The interviews of NRP managers and of theagents that served as intermediaries between them and the people
who promote actions in the field also enabled us to gather
perceptions about the actors’ receptivity towards the various NRP
projects.
Concerning to the subject of intensification and improvement
of reading-promotion practices by intermediate target groups,
the information we obtained from the school survey suggested
that the NRP led to an increase in reading-promotion activities
in virtually every school. It also revealed that innovation in
teachings practices was one of the effects that increased most
in percentage terms between the first and fourth years of
the NRP. In addition to a broad, extensive vision of the situation,
the survey gave us an evolving perspective on a number of
indicators.
At the same time, the case studies allowed us to get a socially
and culturally contextualised picture of subjectivities and
experiences, which helped to interpret certain indicators. We
gained a better understanding of the creation or strengthening
of dynamics between professionals tasked with promoting
reading, and the ways in which this was happening. We saw
very frequent accounts by teachers who expressed their
pleasure at the fact that, for the first time, they had been
working in articulation with other disciplines. We also collected
examples of the activities and strategies that were developed
and employed in order to expose students to reading. Both
elements that made the process easier, and others that made it
harder, were also better understood as a result of the
observation and interviews we carried out as part of the case
studies, and of interviews of key actors. The latter provided
information about the way in which dynamics related with
reading and the promotion of reading were developing around
the country.
In the same domain, it is important to note the usefulness of the
results of the survey of hospitals and health centres. Besides
contributing data on the NRP-related practices in the healthcare
field, they were very helpful when it came to selecting a diversified
sample for certain case studies. They made it possible to cover a
wider range of situations.
In terms of the impacts on the final target groups – more
specifically in the field of attitudes – the results of the school
survey showed that almost all teachers consider that students’
interest in books has increased. The barometer allowed us to see
that there has been a growing perception of the importance of
reading among young people between the ages of 15 and 24.
Among other aspects, the barometer made it easier to compare
social groups, and this particular age group stood out as the one for
which the indicator varied most over time. The case-study
interviews essentially corroborated these data, providing in-depth
information on the way in which the final target groups were
experiencing the programme’s activities and were being positively
affected by it. For example, most student interviewees said they
were pleased with the NRP activities.
Both the case studies and the direct observation of awareness
campaigns also revealed the important impact of the creation of a
graphic image representing the NRP among target groups such as
families. This image was present, for example, in the books
recommended by the Plan, which had a sticker with the Plan’s logo
in them. The interviews and the observation indicate that this NRP
sticker in the books was widely recognised and associated with
their quality and suitability.
The results of the surveys and case studies also allowed us to
understand how the final target groups’ reading practices had
evolved. In their survey responses, teachers reported having a
very favourable view of the NRP’s impact on the intensification of
students’ reading habits, particularly in the classroom, but also
during other times and in other places at school. According to
them, the NRP also contributed to increased use of libraries –
particularly school libraries – by students. Similarly, our case
studies showed that school librarians noticed a significant
increase in book loans for reading at home after the NRP was
launched. Some school librarians reported that the numbers
doubled.
This intensification of reading practices was also evident
among the adult population – particularly the adults at lifelong
learning centres. Some case-study interviewees said they
rediscovered reading during the course of the process they
experienced at the centres, and developed reading practices
which they had not possessed before. The case studies showed
the centre staff’s efforts to direct adults towards reading
material that matched their interests and to the development
of reading habits.
Regarding the impacts on reading skills, the use of mixed
methods is particularly relevant as no standardised instruments
for assessing reading performance – reading fluency or reading
comprehension tests, for example – have thus far been implemented
in the Portuguese school system. Of particular note in the
reading skills domain was the analysis of the results of the PISA
study targeted at 15-year-old students (representative samples).
According to its results, there was a positive variation in the
average performance in the reading domain in Portugal between
2000 and 2009. Portugal was one of the six OECD countries where
reading performance improved in 2009. This development means
that Portugal now stands alongside countries such as Sweden,
France and the UK and is within the OECD average (OECD, 2010a).
The international report on PISA 2009 itself states that the NRP was
one of the factors that contributed to this improvement (OECD,
2010b, p. 69).
The results of our research, taken from surveys and case
studies, converge with the PISA data. In the survey that was
applied in 2010, the great majority of schools pointed to a
significant improvement in their students’ reading and literacy
skills. The testimonies of the teachers who were interviewed
reveal the idea that the work done under the NRP was positively
reflected in students’ motivation to read, and therefore, in their
school results. Teachers and officers of reading-related associations
proved optimistic about the future, inasmuch as the first few
years of school are not only being covered, but priority is being
given to them. It is expected that the continuation of these
practices will lead to sustained impacts on students’ skills in the
longer term.
5 . ประเมิน ผลกระทบ โดยใช้วิธีการผสม
การรวมกันของวิธีการเชิงปริมาณและคุณภาพ ทำให้
สําคัญต่อการประเมินตามราคา ได้แก่ withregard เพื่อการจำแนกและการวิเคราะห์ผลกระทบ . การใช้
วิธีการผสมให้เราสามารถเก็บข้อมูลบนหลาย
ผลกระทบของแผนในโปรตุเกสสังคมตลอดเวลา และติดตั้ง
การตีความของพวกเขา และการยืนยัน ถึงแม้ว่าจุดประสงค์หลัก
ของบทความนี้ไม่ได้เสนอผลการประเมิน บางส่วนของพวกเขาจะกล่าวถึงด้านล่าง
ในความสัมพันธ์กับกลยุทธ์ในการอธิบายวิธีการ วิธีการผสม ทำให้ได้รับข้อมูลเกี่ยวกับชนิดของผลกระทบ
.
เรารวบรวมข้อมูลเกี่ยวกับผลกระทบ
5 มิติ ( Costa pegado , ใหม่ Vila & Coelho , 2011 )1
2 อ้างถึงผลกระทบของ NRP เป็นกลุ่มเป้าหมายระดับกลาง
( ครูบรรณารักษ์ , ผู้ปกครอง , การศึกษาผู้ใหญ่มืออาชีพ
ผู้เชี่ยวชาญด้านสุขภาพ ) , รวมทั้ง : ( i ) ของนักแสดงเหล่านี้ยึดมั่น
และการมีส่วนร่วมในโครงการส่งเสริมการอ่าน และ ( ii )
แรงและการปรับปรุงของพวกเขาการส่งเสริมการอ่าน
การปฏิบัติ . อีกสามข้อกังวลของ NRP ต่อสุดท้าย
กลุ่มเป้าหมาย ( นักเรียนไม่ว่าจะเป็นเด็กหรือคนหนุ่มสาว ;
ผู้ปกครอง ผู้ใหญ่ และประชาชนทั่วไป รวมทั้ง : ( 3 )
เปลี่ยนแปลงทัศนคติต่อการอ่าน ; ( 4 ) intensification
อ่านแนวทางปฏิบัติ และ ( 5 ) การพัฒนาทักษะการอ่าน
โต๊ะ 5 ชุดออกวิธีการที่ใช้ประเมินของแต่ละมิติของผลกระทบของ
d .ที่เป็นกลุ่มเป้าหมายระดับกลางในการมีส่วนร่วมในมันและ
เป็นห่วง คือ โครงการส่งเสริมการอ่าน ตามราคา ผลของการสำรวจโรงเรียน พบว่า มีการใช้หลัก
แนะนำการปฏิบัติของครูและนักแสดงคนอื่น ๆ ( โดยเฉพาะโรงเรียน
บรรณารักษ์ บัญชีที่ได้รับจากการสัมภาษณ์ใช้
ส่วนหนึ่งของกรณีศึกษาที่ทำให้มันเป็นไปได้ที่จะลึกมากขึ้นและแสดงให้เห็นผลลัพธ์ชัดเจน
เหล่านี้และให้มีความไวมากขึ้นเพื่อความหลากหลายของสถานการณ์
.
การประเมินโดเมนนี้ยัง entailed การวิเคราะห์เอกสาร–
โดยเฉพาะบันทึกโครงการและรายการใน NRP ที่
ปรากฏในสื่อการสัมภาษณ์ผู้จัดการ NRP และ theagents ที่ทำหน้าที่เป็นสื่อกลางระหว่างพวกเขาและผู้คน
ที่ส่งเสริมการกระทำในฟิลด์ ยังช่วยให้เราสามารถรวบรวม
ความคิดเห็นเกี่ยวกับนักแสดง ' รับต่อโครงการต่าง ๆ d
.
เกี่ยวกับเรื่องของแรงและปรับปรุงการปฏิบัติการส่งเสริมการอ่านโดย
กลุ่มเป้าหมายระดับกลางข้อมูลที่เราได้รับจากการสำรวจโรงเรียนแนะนำ
ที่ NRP LED มีการเพิ่มกิจกรรมส่งเสริมการอ่าน
ในแทบทุกโรงเรียน นอกจากนี้ยังพบว่า นวัตกรรมทางการสอนการปฏิบัติ
เป็นหนึ่งในผลกระทบที่เพิ่มขึ้นมากที่สุดร้อยละแง่
ระหว่างปีแรกและที่สี่ของ
d . นอกจากจะกว้าง วิสัยทัศน์ที่กว้างขวางของสถานการณ์
สำรวจให้เราพัฒนามุมมองในหมายเลขของตัวบ่งชี้
.
ในเวลาเดียวกัน กรณีศึกษาให้เราได้ และทาง contextualised ภาพสังคม
ประสบการณ์และ subjectivities ซึ่งช่วยในการตีความตัวชี้วัดที่แน่นอน เรา
ได้รับความเข้าใจที่ดีขึ้นของการสร้างหรือเพิ่ม
พลวัตระหว่างผู้เชี่ยวชาญ tasked กับการส่งเสริม
อ่านและวิธีการที่เคยเกิดขึ้น . เราเห็น
บ่อยมากบัญชีโดยครูที่แสดงความสุขของพวกเขา
ที่ความจริงครั้งแรกที่พวกเขาได้ทำงานในสาขาอื่น ๆตามด้วย
. นอกจากนี้เรายังรวบรวม
ตัวอย่างของกิจกรรมและกลยุทธ์ที่ได้รับการพัฒนา
และลูกจ้าง เพื่อเปิดให้นักเรียนอ่าน ทั้งสององค์ประกอบที่ทำให้กระบวนการง่ายขึ้น
,และคนอื่น ๆที่ทำให้มัน
หนัก ก็เข้าใจดีขึ้น เป็นผลจากการสังเกตและการสัมภาษณ์เราออกมา
เป็นส่วนหนึ่งของกรณีศึกษาและสัมภาษณ์นักแสดงหลัก หลังให้
ข้อมูลเกี่ยวกับวิธีการที่เปลี่ยนแปลงที่เกี่ยวข้องกับ
อ่านและส่งเสริมการอ่าน มีการพัฒนารอบ ๆประเทศ
.
ในโดเมนเดียวกันมันเป็นสิ่งสำคัญที่จะต้องทราบประโยชน์ของ
ผลการสำรวจของโรงพยาบาลและศูนย์สุขภาพ นอกจากนี้
สาเหตุข้อมูลใน NRP มีการปฏิบัติในการดูแลสุขภาพ
สนามก็เป็นประโยชน์มากเมื่อมันมาถึงการเลือกตัวอย่างที่หลากหลาย
ศึกษากรณีหนึ่ง พวกเขาทำให้มันเป็นไปได้ที่จะครอบคลุม
ช่วงกว้างของสถานการณ์ ในแง่ของผลกระทบต่อกลุ่มเป้าหมายมากขึ้น
สุดท้าย–โดยเฉพาะในด้านทัศนคติ โดยผลการสำรวจพบว่า ครูโรงเรียน
เกือบทั้งหมดพิจารณาว่านักเรียนสนใจในหนังสือเพิ่มขึ้น บารอมิเตอร์ให้เราเห็น
มีการรับรู้ที่เพิ่มขึ้นของความสำคัญของ
การอ่านของเยาวชน อายุระหว่าง 15 และ 24 .
ในด้านอื่น ๆ , บารอมิเตอร์ทำให้มันง่ายขึ้นเพื่อเปรียบเทียบ
กลุ่มสังคมและกลุ่มวัยนี้โดยเฉพาะโดดเด่นเป็นหนึ่งในตัวบ่งชี้
ที่แตกต่างกันมากที่สุดตลอดเวลา กรณีศึกษา
สัมภาษณ์เป็นหลักยืนยันข้อมูลเหล่านี้ให้ข้อมูลเชิงลึก
ระหว่างทางที่กลุ่ม เป้าหมายสุดท้ายคือ
ประสบกิจกรรมของโครงการและถูกบวก
ผลกระทบโดย ตัวอย่างเช่นคนส่วนใหญ่กล่าวว่าพวกเขา
นักเรียนพอใจกับกิจกรรม d .
ทั้งการศึกษาและการสังเกตโดยตรงของแคมเปญความตระหนัก
ยังเปิดเผยผลกระทบที่สำคัญของการสร้างของ ภาพกราฟิกที่แสดง d
ของกลุ่มเป้าหมาย เช่น ครอบครัว ภาพนี้เป็นปัจจุบัน ตัวอย่างเช่น ในหนังสือ
แนะนำตามแผน ซึ่งมีสติกเกอร์กับแผนโลโก้
ในพวกเขาสัมภาษณ์และสังเกตพบว่า สติกเกอร์นี้ d
ในหนังสือได้รับการยอมรับอย่างกว้างขวาง และเกี่ยวข้องกับ
คุณภาพและความเหมาะสม ผลของการสำรวจและการศึกษายังช่วยให้เราเข้าใจวิธีการกลุ่ม
' เป้าหมายสุดท้ายอ่านการปฏิบัติได้
วิวัฒนาการ ในการตอบสนองการสำรวจของพวกเขา ครูรายงานมี
มุมมองที่ดีมากของ NRP ผลกระทบ intensification
นิสัยการอ่านของนักเรียน โดยเฉพาะในห้องเรียน แต่ยัง
ในช่วงเวลาอื่น ๆและในสถานที่อื่น ๆที่โรงเรียน ตาม
พวกเขา , NRP ยังสนับสนุนการใช้ที่เพิ่มขึ้นของห้องสมุด โดยเฉพาะห้องสมุด––
โรงเรียนนักเรียน ในทำนองเดียวกัน กรณีศึกษา
ของเราพบว่า บรรณารักษ์อย่าง
สังเกตเห็นเพิ่มในเงินให้กู้ยืมหนังสือสำหรับอ่านที่บ้านหลัง NRP คือ
เปิดตัว บรรณารักษ์บางโรงเรียนรายงานว่าตัวเลข
นี้แรงเป็นสองเท่า ของการอ่านการปฏิบัติยังเห็นได้ชัด
ในหมู่ประชากรผู้ใหญ่ ( โดยเฉพาะผู้ใหญ่ที่ตลอดชีวิต
ศูนย์การเรียนรู้ . มีกรณีศึกษา ทั้งบอกว่า
ค้นพบอ่านในระหว่างกระบวนการพวกเขา
ประสบการณ์ในศูนย์การพัฒนาการอ่านและการปฏิบัติซึ่งได้ครอบครองก่อน
. การศึกษาพบ
เจ้าหน้าที่ศูนย์ความพยายามของผู้ใหญ่โดยตรงต่อการอ่าน
วัสดุ ที่ตรงกับความสนใจของตนเอง และการพัฒนานิสัยการอ่าน
.
เกี่ยวกับผลกระทบที่มีต่อทักษะการอ่าน การใช้วิธีการผสม
เกี่ยวข้องโดยเฉพาะอย่างยิ่งเป็นมาตรฐานเครื่องมือ
สำหรับการประเมินประสิทธิภาพการอ่านและการอ่านคล่อง หรือการอ่าน
ทดสอบความเข้าใจ ตัวอย่างเช่น – มีป่านนี้ถูกพัฒนา
โปรตุเกสในโรงเรียนระบบ หมายเหตุเฉพาะในทักษะการอ่าน
โดเมน คือ การวิเคราะห์ผลของปิซา
ศึกษาเป้าหมายที่นักเรียนอายุ 15 ปี ( ตัวอย่าง ) .
ตามผลของมันมีการเปลี่ยนแปลงในเชิงบวกใน
ค่าเฉลี่ยประสิทธิภาพในการอ่านในโปรตุเกสระหว่าง
2000 และ 2009 โปรตุเกสเป็นหนึ่งในหกของประเทศที่พัฒนาประสิทธิภาพการอ่าน
2009 การพัฒนานี้หมายความว่า
ที่โปรตุเกส ตอนนี้ยืนเคียงข้างประเทศเช่นสวีเดน ,
ฝรั่งเศส และอังกฤษ และภายใน OECD เฉลี่ย ( OECD , 2010a ) .
International รายงาน PISA 2009 เองระบุว่าถูก
dปัจจัยหนึ่งที่ทำให้โครงการนี้ ( OECD ,
2010b , หน้า 69 ) .
ผลการวิจัยของเรา ที่ได้มาจากการสำรวจและกรณี
ศึกษา บรรจบกับข้อมูล PISA . ในการสำรวจที่
ใช้ในปี 2010 ส่วนใหญ่ที่ดีของโรงเรียน ชี้ถึงการพัฒนาที่สำคัญในการอ่านของนักเรียนของพวกเขาและทักษะ
พระโอวาทของครูที่ถูกสัมภาษณ์
เปิดเผยว่างานที่ทำภายใต้ NRP ทาง
สะท้อนในแรงจูงใจที่จะอ่าน ดังนั้น ผลของโรงเรียน
ครูและเจ้าหน้าที่ของการอ่านที่เกี่ยวข้องสมาคม
พิสูจน์ในแง่ดีเกี่ยวกับอนาคต เพราะไม่กี่ปีแรกของโรงเรียน
ไม่เพียง แต่ครอบคลุม แต่ความสำคัญจะถูก
แก่พวกเขา เป็นที่คาดว่า ความต่อเนื่องของเหล่านี้
การปฏิบัติจะนำไปสู่การได้รับผลกระทบต่อทักษะนักเรียนใน
ระยะยาว
การแปล กรุณารอสักครู่..
