4.3. Preliminary studies
In order to guarantee the quality of the items under development, the items were preliminarily administered to ten educational experts
and to sixth grade primary school students. The team of educational experts consisted of teachers, ICT coordinators, educational advisers
and test developers. The evaluation of the educational experts focused on the match between the cognitive level of the items and the
cognitive level of sixth grade primary school students as well as on the manner in which the tasks were formulated and presented to the
students. All of the educational experts unanimously agreed that the content of the tasks matched the cognitive level of sixth grade primary
school students. With regard topresentation and formulation, many tasks were reformulated, which led to a moreunivocal interpretation of
the tasks and less dependence on reading ability. A few tasks were replaced as they did not fit the general aim of the test.
With regard to a preliminary check by the students, the different tasks were administered to two classes of sixth graders in two different
schools. Each task was tested by these students as soon as it was programmed. More specifically, the students used the developed software
applications to solve the items while being observed by test developers. During their observations, the test developers especially focused on
1) the influence of the ICT infrastructure in the schools on the developed software, 2) the difficulty level of the items, 3) the time that
students required for each item, 4) the usabilitylevel of the developed software, 5) the comprehensibility of the item instructions, and 6) the
construct validity of the developed items.
Finally, a larger pilot study of the entire test was conducted in March 2012. In total, 86 students of three schools participated in the pilot
study. The students were given 2 h, which was estimated as the time required to complete the test. In order to match the actual test
administration as much as possible, the test was administered by a person that was not involved in the process of test development. Rather
than evaluating the difficulty and reliability of the items, the purpose of this pilot study was to investigate 1) the most effective way for
logging the results, 2) the possibilities for investigating the log files, 3) the time requirements for the total test, and 4) whether organi-
zational measures were required. A detailed psychometric analysis of the quality, reliability and validity of the items can be found in Aesaert
et al. (2014). The results indicated that the logfiles delivered usable information to analyze and make statements about primary school
students' ICTcompetences. Moreover, insight into the logfiles provided input for adapting the scoring keys. With regard to the evaluation of
the time requirements, the results of the pilot study indicate that students can complete the entire test within 2 h. With regard to the
Fig. 2. General interface of the performance-based ICT competence test.
K. Aesaert, J. van Braak / Computers & Education 84 (2015) 8e25 15
individual tasks, some tasks were allocated more time to complete whereas others were allocated less time. Finally, two organizational
measures were taken. First, it was decided to provide the students with an overview of all tasks. As such, they could check their progress
during the test. Second, the end of the test was adapted in order for students to understand that the test was finished.
5. Second purpose: primary school students' ICT competences
In the second part of the study we attempt to provide insight into primary school students' ICTcompetences, and how differences in ICT
competences are related to gender and SES. For this purpose, the results of a first administration of the developed test are discussed. As the
test measures ICTcompetences in a direct way, the results provide a first insight into primary school students' actual ICTcompetences, and
more specifically into students' actual ability in digital information processing and communication.
5.1. Method
5.1.1. Participants and test administration
In order to gather information on students' ICT competences, the developed test was administered to 378 sixth-grade students of 58
primary schools in Flanders (the Dutch speaking region of Belgium). To guarantee that the schools are representative to the total Flemish
school population, a stratified sample design was used. More specifically, the total Flemish school population was explicitly stratified for
educational network (official public education, subsidized public-authority education and subsidized private-authority education) and
school size (small school < 180 students; large school ?180 students), and implicitly stratified for province (5 provinces in Flanders). Based
on the two explicit stratification factors, a 3?2 e matrix of 6 school subpopulations (strata) was created. In each stratum, school
4.3 . การศึกษาเบื้องต้นเพื่อรับรองคุณภาพของสินค้าภายใต้การพัฒนา , รายการเบื้องต้นและผู้เชี่ยวชาญด้านการศึกษา 10และนักเรียนชั้นประถมศึกษาปีที่ 6 ทีมงานของผู้เชี่ยวชาญด้านการศึกษา ประกอบด้วย ครูผู้ประสานงานและที่ปรึกษาทางการศึกษาพัฒนาและทดสอบ การประเมินของผู้เชี่ยวชาญด้านการศึกษาที่เน้นการแข่งขันระหว่างระดับการรับรู้ของรายการ และระดับสติปัญญาของนักเรียนในโรงเรียน ประถมศึกษา ชั้นประถมศึกษาปีที่ 6 รวมทั้งในลักษณะที่เป็นด้านยุทธศาสตร์ และเสนอให้นักเรียน ทั้งหมดของผู้เชี่ยวชาญด้านการศึกษาเห็นพ้องต้องกันว่า เนื้อหาของงานจับคู่ระดับสติปัญญาของนักเรียนชั้นประถมศึกษาปีที่ 6นักเรียนโรงเรียน กับ topresentation พิจารณาและกำหนดงานหลายเงื่อนไข ซึ่งนำไปสู่ moreunivocal ตีความงานและไม่ต้องพึ่งพาความสามารถในการอ่าน ไม่กี่งานที่ถูกแทนที่ พวกเขาไม่เหมาะกับจุดประสงค์ทั่วไปของการทดสอบเกี่ยวกับการตรวจสอบเบื้องต้นของนักเรียน งานต่าง ๆ กลุ่มสองกลุ่มที่แตกต่างกันสอง ป. 6 ในโรงเรียน งานแต่ละงานที่ถูกทดสอบโดยนักศึกษาเหล่านี้ทันทีที่มันถูกตั้งโปรแกรม มากขึ้นโดยเฉพาะนักเรียนที่ใช้พัฒนาซอฟต์แวร์การแก้ไขรายการในขณะที่การตรวจสอบโดยนักพัฒนาทดสอบ ในการสังเกตของนักพัฒนาทดสอบโดยเฉพาะ เน้น1 ) อิทธิพลของโครงสร้างพื้นฐานไอซีทีในโรงเรียนในการพัฒนาซอฟแวร์ , 2 ) ระดับความยากของรายการ 3 ) เวลาที่นักเรียนที่ต้องการสำหรับแต่ละรายการที่ 4 ) usabilitylevel ของซอฟต์แวร์ที่พัฒนาขึ้น 5 ) ความเข้าใจของคําแนะนําสินค้า และ 6 )ความตรงเชิงโครงสร้างของการพัฒนารายการในที่สุด ก็มีการศึกษานำร่องการทดสอบทั้งหมดได้ดำเนินการในเดือนมีนาคม 2012 ทั้งหมด 86 คน 3 โรงเรียนเข้าร่วมโครงการนำร่องการศึกษา ชั้นปีที่ 2 H , ซึ่งถูกประเมินเป็นเวลาที่จะเสร็จสมบูรณ์การทดสอบ เพื่อให้ตรงกับการทดสอบจริงการบริหารมากที่สุดเท่าที่เป็นไปได้ ทดสอบโดยผู้ที่ไม่ได้มีส่วนร่วมในกระบวนการของการพัฒนา ทดสอบ ค่อนข้างกว่าที่ประเมินความยากง่ายและความน่าเชื่อถือของสินค้า วัตถุประสงค์ของการศึกษานำร่องครั้งนี้คือ 1 ) เพื่อศึกษาวิธีที่มีประสิทธิภาพมากที่สุดสำหรับการบันทึกผลลัพธ์ , 2 ) ความเป็นไปได้ในการตรวจสอบล็อกไฟล์ , 3 ) ความต้องการเวลาในการทดสอบทั้งหมด และ 4 ) หรือ - ว่ามาตรการ zational ถูกต้อง มีการวิเคราะห์รายละเอียดของ คุณภาพ ความน่าเชื่อถือ และความถูกต้องของรายการที่สามารถพบได้ใน aesaertet al . ( 2014 ) ผลการศึกษา พบว่า สามารถใช้ส่งข้อมูลเพื่อวิเคราะห์ logfiles และให้ข้อความเกี่ยวกับโรงเรียนictcompetences นักเรียน " และข้อมูลเชิงลึกใน logfiles ให้ข้อมูลสำหรับการปรับเกณฑ์การให้คะแนน . ทั้งนี้ ในการประเมินผลความต้องการของเวลา ผลการศึกษา พบว่า นักเรียนนักบินสามารถดำเนินการทดสอบทั้งหมดภายใน 2 ชั่วโมง กับเกี่ยวกับการรูปที่ 2 ติดต่อทั่วไปของผลงาน และความสามารถในการทดสอบK . aesaert เจแวน Braak / คอมพิวเตอร์และการศึกษา 84 ( 2015 ) 15 8e25แต่ละงานบางงานมีการจัดสรรเวลาให้เสร็จสมบูรณ์ในขณะที่คนอื่น ๆมีการจัดสรรเวลาที่น้อยลง ในที่สุด สององค์กรมาตรการที่ถูกถ่าย ตอนแรกก็ตัดสินใจที่จะให้ผู้เรียนมีภาพรวมของงานทั้งหมด . เช่น , พวกเขาสามารถตรวจสอบความคืบหน้าของพวกเขาระหว่างการทดสอบ ประการที่สอง จุดสิ้นสุดของการทดสอบถูกดัดแปลงเพื่อให้นักเรียนเข้าใจว่า การทดสอบเสร็จสมบูรณ์5 . วัตถุประสงค์ที่สอง : ทักษะ ICT นักเรียนระดับประถมศึกษาในส่วนที่เราพยายามที่จะให้ข้อมูลเชิงลึกใน ictcompetences นักเรียนระดับประถมศึกษา และวิธีการที่แตกต่างกันในไอซีทีทักษะที่เกี่ยวข้องกับเพศและ SES . สำหรับวัตถุประสงค์นี้ ผลลัพธ์ของงานแรกของการพัฒนาแบบทดสอบว่า เป็นสอบวัด ictcompetences ในทางตรง ผลลัพธ์ให้แรกเข้าใจใน ictcompetences จริงนักเรียนระดับประถมศึกษา และมากขึ้นโดยเฉพาะในนักเรียนจริงความสามารถในการประมวลผลข้อมูลดิจิตอลและการสื่อสาร5.1 วิธี5.1.1 . ผู้เข้าร่วมและการบริหารการทดสอบเพื่อรวบรวมข้อมูลในด้าน ICT ของนักเรียน พัฒนาทดสอบเพื่อให้นักเรียนชั้นประถมศึกษาปีที่ 6 จำนวน 58 คนโรงเรียนประถมในฟลานเดอร์ส ( ดัตช์พูดภูมิภาคของประเทศเบลเยียม ) รับประกันว่า โรงเรียนมีตัวแทนทั้งหมดเฟลมิชประชากรของโรงเรียน กลุ่มตัวอย่าง แบ่งเป็นใช้ โดยเฉพาะอย่างยิ่งประชากรทั้งหมดโรงเรียนภาษาเฟลมิชเป็นอย่างชัดเจน และสำหรับเครือข่ายการศึกษา ( ข้าราชการ การศึกษา เงินอุดหนุนสาธารณะการศึกษาและเงินอุดหนุน ( เอกชน ) และขนาดโรงเรียน ( < โรงเรียนขนาดเล็ก 180 คน โรงเรียนขนาดใหญ่ 180 คน ) และโดยปริยายแบ่งจังหวัด ( 5 จังหวัดในแฟลนเดอร์ส ) ตามสองปัจจัยที่ชัดเจนในการ , 3 2 E Matrix ของแต่ละโรงเรียน ( 6 ชั้น ) ที่ถูกสร้างขึ้น ในแต่ละชั้นเรียน
การแปล กรุณารอสักครู่..
