The Electronic Journal for English as a Second Language
HomeAbout TESL-EJAll IssuesBooksHow to SubmitEditorial BoardAccessSitemap
Evaluation of Learning Objectives in Iranian High-School and Pre-University English Textbooks Using Bloom’s Taxonomy
March 2010 – Volume 13, Number 4Evaluation of Learning Objectives in Iranian High-School and Pre-University English Textbooks Using Bloom’s TaxonomyA. Mehdi Riazi
Macquarie University, Australia
Mehdi.riazimq.edu.au
Narjes Mosalanejad
Shiraz University, Iran
n_mosallayahoo.comAbstract
This paper reports a study that investigated the types of learning objectives represented in Iranian senior high school and pre-university English textbooks using Bloom’s taxonomy of learning objectives. Three high-school textbooks and the sole pre-university textbook were included in the analysis. To codify the learning objectives, a coding scheme was developed based on Bloom’s (1956) taxonomy of learning objectives. The exercises and tasks of the textbooks were codified and the frequencies and percentages of occurrence of different learning objectives were calculated. Results of the study indicate that in all grades lower-order cognitive skills were more prevalent than higher-order ones. Furthermore, the difference between the senior high school and the pre-university textbooks in terms of the levels of the taxonomy were significant insofar as the pre-university textbook used some degrees of higher-order learning objectives. Results of this study have implications both for teaching and materials development.
Introduction
Materials development and evaluation is a relatively young phenomenon in the field of language teaching. In the practical sense, it includes the production, evaluation and adaptation of materials. Tomlinson (2001, p.66) defines materials as “anything which can be used to facilitate the learning of a language.”
Although textbooks can be affected by other aspects of an instructional situation (for instance by the teacher’s use of different approaches, by students’ preferences for one part over another, or other environmental factors), the effect of these instructional materials on the other components is more significant as texts have the potential to change the objectives of the situation or alter students’ motivation. Nevertheless, it seems that all the components involved in teaching and learning situations are in constant interaction to enhance learning achievement. As Hutchinson and Torres (1994 cited in Litz, 2005) suggest:
The textbook is an almost universal element of [English language] teaching. Millions of copies are sold every year, and numerous aid projects have been set up to produce them in [various] countries…No teaching-learning situation, it seems, is complete until it has its relevant textbook. (p. 315)
There are, however, different attitudes towards textbooks. Tomlinson (2001) divides the attitudes into two groups: proponents and opponents. The former group argues that textbooks are the most convenient form of presenting materials because they give consistency, systematicity, cohesion, continuation, and progression. The latter contend that textbooks are inevitably superficial and reductionist in their coverage and are not able to satisfy the diverse and broad needs of all their users. It is implied that the first group sees textbooks as useful for general purposes while the second group considers the shortcomings of textbooks for specific purposes. In spite of this disagreement it is widely agreed that textbooks are of great value in the process of teaching and learning (See, for example, Cunningsworth, 1995; Haycroft, 1998; O’Neil, 1982; Sheldon, 1988).
Constant evaluation of textbooks to see if they are appropriate is of great importance. As Genesee (2001) stated, evaluation in TESOL settings is a process of collecting, analyzing and interpreting information. This process enables us to make informed decisions through which student achievement will increase and educational programs will be more successful. According to Sheldon (1988), there are several reasons for the evaluation of textbooks. Among these reasons, he suggests that the selection of an English language teaching textbook often demonstrates an important administrative and educational decision in which one can see considerable amount of professional, financial, or even political investment. As there are many different and diverse ELT textbooks on the market, there is a necessity for the evaluation of textbooks in order to be able to recognize the advantages of one over the others, which in turn will lead to the adoption of the textbook. Ellis (1997) suggests that material evaluation could be conducted at three stages:
1) ‘predictive’ or ‘pre-use’ evaluation that is designed to examine the future or potential performance of a textbook;
2) ‘in-use’ evaluation designed to examine material that is currently being used; and
3) ‘retrospective’ or ‘post-use’ (reflective) evaluation of a textbook that is concerned with the evaluation of textbooks after they have been used in a specific institution or situation.
While different criteria and approaches have been presented to evaluate textbooks (see, for example, Cunningworth, 1995; Harmer, 1996; Williams, 1983), taxonomies like Bloom’s taxonomy of educational objectives also prove useful in textbook evaluation studies. Aviles (2000) believes that Bloom’s taxonomy of educational objectives is a tool that can be used in the wider context of education to help both new and experienced educators to think more precisely about what it means to teach and test for critical thinking. Sultana (2001) used the taxonomy to examine the lesson plans of 67 teacher interns in Kentucky to determine the extent to which their lesson objectives were designed to develop higher-order thinking skills in their students. This analysis showed that 41.3% of the new teachers’ lesson objectives were at the “knowledge” level, the lowest cognitive category. Only 3.2% of the teachers’ lesson objectives were found to be at the highest level of “evaluation” in Bloom’s taxonomy.
Literature Review
Most of the textbook evaluation studies carried out in Iran focus on three main goals. The first group has mostly tried to develop some criteria to contribute to more successful textbook evaluation studies (see e.g., Ansary & Babaii, 2002). The second group has evaluated certain textbooks for their strength and weaknesses to find their advantages and shortcomings (see e.g., Jahangard, 2007; Riazi & Aryashokouh, 2007), and the third group has studied discourse features and the representation of discourse elements in the textbooks (see e.g., Darali, 2007; Tavakoli, 1995). Other studies have addressed issues outside of these categories as well (see e.g., Marzban, 2005; Manafi, 2005).
Ansary and Babaii (2002) presented some characteristics and criteria for a good textbook based on a close scrutiny of a corpus of 10 EFL/ESL textbook reviews plus 10 EFL/ESL textbook evaluation checklists. The features they presented were:
Dissemination of a vision (theory or approach) about the nature of language,The nature of learning and how the theory can be put to applied use;Stating purpose(s) and objective(s) for the total course and for individual units;Selection and its rationale for coverage, grading, organization and sequencing;Teacher’s satisfaction with the syllabus for providing a guide book, advice on the methodology and explaining theoretical orientations, and keys to the exercises and supplementary materials;Learner satisfaction with the syllabus for giving piecemeal, unit-by-unit instruction and clear instructions for exercises.
Jahangard (2007) evaluated four EFL textbooks that have been used in the Iranian high schools by the Ministry of Education. He discussed the merits and demerits of the textbooks with reference to 13 common criteria extracted from different materials evaluation checklists. The criteria were as follows: explicitness of objectives, good vocabulary explanation and practice, educationally and socially acceptable approaches to the target community, periodic review and test sections, clear attractive layout, print easy to read, appropriate visual materials, interesting topics and tasks, clear instructions, clearly organized and graded content, plenty of authentic language, good grammar presentation and practice, fluency practice in all four skills, and independent learning situations. The results of the study indicated that book four had better features in comparison with the three other textbooks (which needed huge revisions and modifications).
Riazi and Aryasholouh (2007) also studied the four high school and pre-university English textbooks focusing on the consciousness-raising aspect of vocabulary exercises. They found that of all exercises in the four books, only one percent of them could be categorized as consciousness-raising. They also found that the exercises mainly concentrated on individual words (approximately 26%) with no emphasis on fixed expressions, lexical collocations (approximately 15%) and grammatical collocations (approximately 2%). They concluded that students are mainly dealing with meanings of individual words and not with how words are used with other words or in what combinations.
The third group of textbook evaluation studies in Iran has focused on discourse features such as speech acts, intertextuality and so on. Darali (2007) studied the important features of new English textbooks such as the Spectrum series to see how cultural pragmatic knowledge of the language is included in the lessons. The results of the study showed that the series provided a variety of language functions, but the most frequent ones in daily speech were not focused on as much as other functions. Although the textbooks provided valuable metalinguistic information, they lacked explanations on the use of different forms in the
สมุดอิเล็กทรอนิกส์สำหรับภาษาอังกฤษเป็นภาษาที่สอง หน้า TESL EJAll IssuesBooksHow ไป SubmitEditorial BoardAccessSitemapประเมินผลการเรียนรู้วัตถุประสงค์ในอิหร่านมัธยมและมหาวิทยาลัยก่อนภาษาอังกฤษตำราใช้ระบบภาษีของบลูม2553 มีนาคม – ปริมาตร 13 หมายเลข 4Evaluation การเรียนรู้วัตถุประสงค์ในอิหร่านมัธยมและมหาวิทยาลัยก่อนภาษาอังกฤษตำราใช้ TaxonomyA ของบลูม Mehdi Riaziมหาวิทยาลัยคัว ออสเตรเลียMehdi.riazimq.edu.auNarjes Mosalanejadมหาวิทยาลัยชีราซ อิหร่านn_mosallayahoo.comAbstractกระดาษนี้รายงานการศึกษาที่ตรวจสอบชนิดของวัตถุประสงค์ที่แสดงในอิหร่านมัธยมและมหาวิทยาลัยก่อนตำราภาษาอังกฤษของบลูมจำแนกประเภทของวัตถุประสงค์การเรียนรู้โดยใช้การเรียนรู้ ตำรามัธยมสามและตำราเรียนมหาวิทยาลัยก่อนแต่เพียงผู้เดียวรวมอยู่ในการวิเคราะห์ ประมวลวัตถุประสงค์การเรียนรู้ แผนรหัสถูกพัฒนาขึ้นตามระบบภาษี (1956) ของบลูมของวัตถุประสงค์การเรียนรู้ ออกกำลังกายและงานของตำราถูก ประมวลกฎหมายสูง และคำนวณความถี่และเปอร์เซ็นต์ของการเกิดขึ้นของวัตถุประสงค์การเรียนรู้ที่แตกต่างกัน ผลการศึกษาบ่งชี้ว่า ในทุกเกรด ทักษะการรับรู้ต่ำกว่าสั่งได้แพร่หลายมากขึ้นกว่าสูงสั่งคน นอกจากนี้ ความแตกต่างระหว่างการมัธยมและตำรามหาวิทยาลัยก่อนในระดับของการจำแนกประเภทได้อย่างมีนัยสำคัญ insofar เป็นตำราเรียนมหาวิทยาลัยก่อนใช้องศาบางวัตถุประสงค์การเรียนรู้ขั้นสูง ผลการศึกษานี้มีผลกระทบทั้ง การสอนและการพัฒนาวัสดุแนะนำการพัฒนาวัสดุและประเมินเป็นปรากฏการณ์ที่ค่อนข้างอ่อนในด้านการสอนภาษา ในแง่ปฏิบัติ มีการผลิต ประเมิน และการปรับตัวของวัสดุ Tomlinson (2001, p.66) กำหนดวัสดุเป็น "อะไรที่สามารถใช้เพื่อช่วยในการเรียนรู้ภาษา "แม้ว่าตำราสามารถรับผลกระทบจากสถานการณ์การเรียนการสอนด้านอื่นๆ (เช่น โดยการที่ครูใช้วิธีแตกต่างกัน โดยกำหนดลักษณะนักเรียนส่วนหนึ่งไปอีก หรือปัจจัยแวดล้อมอื่น ๆ), ผลของวัสดุเหล่านี้สอนส่วนประกอบอื่น ๆ ได้ยิ่งเป็นข้อความอาจเปลี่ยนแปลงวัตถุประสงค์ของสถานการณ์ หรือเปลี่ยนแรงจูงใจของนักเรียน อย่างไรก็ตาม มันดูเหมือนว่า ส่วนประกอบทั้งหมดที่เกี่ยวข้องกับการเรียนการสอน และการเรียนรู้สถานการณ์อยู่ในโต้ตอบคงที่เพื่อเพิ่มผลสัมฤทธิ์ทางการเรียนรู้ Hutchinson และทอร์เรส (1994 อ้างใน Litz, 2005) แนะนำ:ตำราเรียนเป็นองค์ประกอบเกือบสากลสอน [ภาษาอังกฤษ] ล้านสำเนาขายทุกปี และโครงการช่วยเหลือมากมายมีการตั้งค่าการผลิตได้ในประเทศ [ต่าง ๆ] ... ไม่มีสอนเรียนรู้สถานการณ์ เหมือน เสร็จสมบูรณ์จนกว่าจะมีหนังสือเกี่ยวข้อง (p. 315)ได้ แต่ ทัศนคติตำราแตกต่างกัน Tomlinson (2001) ทัศนคติแบ่งออกเป็นสองกลุ่ม: proponents และฝ่ายตรงข้าม กลุ่มอดีตจนตำราแบบสะดวกที่สุดของการนำเสนอวัสดุเนื่องจากพวกเขาให้ความสอดคล้อง systematicity สามัคคี ต่อเนื่อง และก้าวหน้า หลังแข่งว่า ตำราย่อมผิวเผิน และ reductionist ในความครอบคลุมและไม่สามารถตอบสนองความหลากหลาย และกว้างมีความต้องการของผู้ใช้ทั้งหมดของพวกเขา มันเป็นนัยว่า กลุ่มแรกเห็นหนังสือเป็นประโยชน์สำหรับวัตถุประสงค์ทั่วไปในขณะที่กลุ่มที่สองพิจารณาของตำราสำหรับวัตถุประสงค์เฉพาะ แม้นี้กัน มันมากเห็นว่า ตำรามีความสะดวกในกระบวนการเรียนการสอน และการเรียนรู้ (ดู เช่น Cunningsworth, 1995 Haycroft, 1998 O'Neil, 1982 ภัณฑ์เชลด้อน 1988)เป็นตำราเพื่อดูถ้าพวกเขาเหมาะสมประเมินคงไสย เป็น Genesee (2001) ระบุ TESOL ค่าประเมินผลเป็นกระบวนการรวบรวม การวิเคราะห์ และตีความข้อมูล กระบวนการนี้ช่วยให้เราสามารถทำการตัดสิน โดยนักเรียนที่สำเร็จจะเพิ่มขึ้น และโปรแกรมการศึกษาจะประสบความสำเร็จ ตามภัณฑ์เชลด้อน (1988), มีหลายเหตุผลสำหรับการประเมินตำรา จากเหตุผลเหล่านี้ เขาแนะนำว่า เลือกเป็นภาษาอังกฤษที่สอนหนังสือมักจะแสดงให้เห็นถึงการบริหาร และการศึกษาตัดสินใจที่สำคัญในที่สามารถมองเห็นยอดมากลงทุนมืออาชีพ การเงิน หรือแม้แต่การเมือง มีมากมายหลากหลาย และแตกต่าง ELT ตำราในตลาด มีความจำเป็นสำหรับการประเมินตำราเพื่อให้สามารถจดจำข้อดีของหนึ่งมากกว่าคนอื่น ๆ ซึ่งจะเข้าสู่การรับหนังสือเรียน เอลลิส (1997) แนะนำว่า สามารถดำเนินการประเมินผลวัสดุที่สามขั้นตอน:1) ' งาน' หรือ 'ก่อนใช้' ประเมินที่ออกแบบมาเพื่อตรวจสอบประสิทธิภาพในอนาคต หรือศักยภาพของหนังสือ2) ' ประเมินใช้' ที่ออกแบบมาเพื่อตรวจสอบวัสดุที่กำลังใช้ และ3) ' ย้อนรอย' หรือ 'หลังใช้' (สะท้อนแสง) การประเมินหนังสือที่เกี่ยวข้องกับการประเมินตำราหลังจากพวกเขาได้ถูกใช้ในเฉพาะสถาบันหรือสถานการณ์While different criteria and approaches have been presented to evaluate textbooks (see, for example, Cunningworth, 1995; Harmer, 1996; Williams, 1983), taxonomies like Bloom’s taxonomy of educational objectives also prove useful in textbook evaluation studies. Aviles (2000) believes that Bloom’s taxonomy of educational objectives is a tool that can be used in the wider context of education to help both new and experienced educators to think more precisely about what it means to teach and test for critical thinking. Sultana (2001) used the taxonomy to examine the lesson plans of 67 teacher interns in Kentucky to determine the extent to which their lesson objectives were designed to develop higher-order thinking skills in their students. This analysis showed that 41.3% of the new teachers’ lesson objectives were at the “knowledge” level, the lowest cognitive category. Only 3.2% of the teachers’ lesson objectives were found to be at the highest level of “evaluation” in Bloom’s taxonomy.Literature ReviewMost of the textbook evaluation studies carried out in Iran focus on three main goals. The first group has mostly tried to develop some criteria to contribute to more successful textbook evaluation studies (see e.g., Ansary & Babaii, 2002). The second group has evaluated certain textbooks for their strength and weaknesses to find their advantages and shortcomings (see e.g., Jahangard, 2007; Riazi & Aryashokouh, 2007), and the third group has studied discourse features and the representation of discourse elements in the textbooks (see e.g., Darali, 2007; Tavakoli, 1995). Other studies have addressed issues outside of these categories as well (see e.g., Marzban, 2005; Manafi, 2005).Ansary and Babaii (2002) presented some characteristics and criteria for a good textbook based on a close scrutiny of a corpus of 10 EFL/ESL textbook reviews plus 10 EFL/ESL textbook evaluation checklists. The features they presented were:Dissemination of a vision (theory or approach) about the nature of language,The nature of learning and how the theory can be put to applied use;Stating purpose(s) and objective(s) for the total course and for individual units;Selection and its rationale for coverage, grading, organization and sequencing;Teacher’s satisfaction with the syllabus for providing a guide book, advice on the methodology and explaining theoretical orientations, and keys to the exercises and supplementary materials;Learner satisfaction with the syllabus for giving piecemeal, unit-by-unit instruction and clear instructions for exercises.Jahangard (2007) evaluated four EFL textbooks that have been used in the Iranian high schools by the Ministry of Education. He discussed the merits and demerits of the textbooks with reference to 13 common criteria extracted from different materials evaluation checklists. The criteria were as follows: explicitness of objectives, good vocabulary explanation and practice, educationally and socially acceptable approaches to the target community, periodic review and test sections, clear attractive layout, print easy to read, appropriate visual materials, interesting topics and tasks, clear instructions, clearly organized and graded content, plenty of authentic language, good grammar presentation and practice, fluency practice in all four skills, and independent learning situations. The results of the study indicated that book four had better features in comparison with the three other textbooks (which needed huge revisions and modifications).Riazi and Aryasholouh (2007) also studied the four high school and pre-university English textbooks focusing on the consciousness-raising aspect of vocabulary exercises. They found that of all exercises in the four books, only one percent of them could be categorized as consciousness-raising. They also found that the exercises mainly concentrated on individual words (approximately 26%) with no emphasis on fixed expressions, lexical collocations (approximately 15%) and grammatical collocations (approximately 2%). They concluded that students are mainly dealing with meanings of individual words and not with how words are used with other words or in what combinations.The third group of textbook evaluation studies in Iran has focused on discourse features such as speech acts, intertextuality and so on. Darali (2007) studied the important features of new English textbooks such as the Spectrum series to see how cultural pragmatic knowledge of the language is included in the lessons. The results of the study showed that the series provided a variety of language functions, but the most frequent ones in daily speech were not focused on as much as other functions. Although the textbooks provided valuable metalinguistic information, they lacked explanations on the use of different forms in the
การแปล กรุณารอสักครู่..